建物は、代官所の銀山方役所に勤務する銀山附地役人河島氏の居宅であった。初代三郎右衛門は安芸国出身で、1610年初代奉行大窪石見守に銀山附地役人として召抱えられ、子孫は代々銀山の支配に携わった。建物は主屋を敷地奥に建て、通りに面して土塀を廻らせ前庭を設け、大戸口の右手に式台を設けるなど、武家の住まいの基本形を良く残している。