江戸時代末期に柳生藩の財政再建を成し遂げた家老・小山田主鈴（おやまだしゅれい）が隠居後に暮らした屋敷で、現在は資料館として公開されています（奈良県指定文化財）。
小山田主鈴は、徳川将軍家の剣術指南役として江戸に常駐していた柳生藩主に代わり、藩南部屋敷を預かった国家老です。米相場で巨利を得て藩財政の窮乏を救いました。
主屋は1848年（嘉永元年）に棟上し、米蔵・納屋などの付属施設が撤去されているものの、創建当時の姿をほぼ留めており、県下では数少ない武家屋敷の遺構です。豪壮な石垣は1841年（天保12年）に尾張国の石工によって築かれました。1964年（昭和39年）に作家・山岡荘八氏の所有となり、柳生宗矩を主人公にした小説「春の坂道」の構想を練った屋敷としても知られています。小山田主鈴や旧柳生藩に関する書物、使用した道具類、山岡氏の遺品などが展示されています。