館跡は、中世の姿をよく残しています。東は蓑山の裾を利用し、背面北側は堀を巡らし、土居をあげた中世の遺構を残しています。庭園は、『新編武蔵風土記稿』に、「郡内第一ノ庭ト云テ、カナタコナタヨリモ游覧セルモノ多ク来ル……」とあり、中世築庭様式を見せています。小池氏については諸説があり、甲州より移住し北条氏邦に仕え、ここに居住したと伝えられます。