鈴木屋敷は、全国に二百万と言われる鈴木姓の元祖といわれる藤白の鈴木氏が住んでいたところである。平安末期ごろ（1150年ごろ）上皇や法皇の熊野参詣が盛んとなり熊野の鈴木氏がこの地に移り住み熊野三山への案内役をつとめたり、この地を拠点として熊野信仰を全国に普及すべく、3300余の熊野神社の建立につとめたと伝えられる。
なかでも鈴木三郎重家と亀井六郎重清の兄弟は有名で、幼少の頃、牛若丸が熊野の往還にこの屋敷に滞在した重家・重清との山野に遊んだとも言われている。後に義経の家臣として衣川の戦いで共にその障害を終えたと伝えられているが、三郎重家は秋田の山奥に難を逃れ落ち武者として土着帰農し鈴木家の分家として現在の秋田県羽後町に歴史を継承し、その屋敷は国の重要文化財に指定されている。