館跡は日野沢川左岸に南面した山腹に立地し、傾斜地に築いた石垣は2重3重に巡らされています。その角々には3か所の「食い違い門」が設けられ、石垣の上には更に土塀が続いていたと言われています。石畳もそのまま残り、江戸時代初期の郷士の居館をよく偲ぶことが出来ます。『新編武蔵風土記稿』に記された文書から、元禄の頃館の普請が終わったと考えられます。