永正年間(1504～1520)のころ龍造寺胤家が居館としていたのを、子の斎亮に譲った。斎亮は仏門に帰依(きえ)し、ここを寺として清心院と称した。江戸時代、佐賀城下の東北隅にあるので鬼門守護の道場として佐賀城の出城の役目をしていた。 清心院は、古義真言宗の寺院で、本尊は不動明王である。仏教では不動明王を大日如来の使者としてとり入れた。如来の命を受けて忿怒の相を表し、密教の修行者を守護して諸種の障害を除き，すべての災魔を滅ぼして修行を成就させる尊像とした。形像は，右手に剣，左手に羂索を持ち，青黒色の全身に火焰を負う姿が一般的である。 この仏像は、大宰少弐がもたらしたものであるとか、胤家が筑前にいた時に当地に移したものであるなどと伝えられている。秘仏であるために、平素拝観することができない。 寺伝によれば行基の作とされているが、その彫像様式からみて、南北朝時代の作ではないかと推定される。 虫喰が諸処にみられ、相当にいたんでいるが、全体的にはよく彫像当初の形態を保存していて、数少ない中世の仏像としてその価値が高い。

長崎街道は構口より丸中市場の南を通り、牛島宿の五叉路にでて旧道をとおり高尾宿の旧道をぬけ、東で南に折れ、公民館前に出た。また、寛政元年の巡見録によると当時の人数550人、戸数は、100軒ほどと書かれており、郷村帳には宿、南小路、中小路、井手小路、竈王院小路などの集落が書かれている。この宿が高尾宿で他は高尾小路である。 また、菱屋平七の筑紫紀行には「７、８町いけば人家100軒あまり、茶屋多し」と書かれ、高札といって、宿屋をおかない、小店並ぶ宿場町であったそうである。 このように、長崎街道と巨勢川の交差点で恵まれた場所で、高尾宿公民館付近は佐賀藩の年貢米の倉庫があって、ここをお倉浜といって「津出し浜だし」といい、高尾津より米の積出しが行われ、牛島宿には、「高尾市場」と呼ばれる農作物の市が開かれ、物資の集散地として栄えた。 昭和初期までは、魚屋、八百屋、酒屋、豆腐屋、菓子屋、床屋、荒物屋、畳屋、仕出し屋、自転車屋、醤油屋、肉屋、飲食店、粉ひき屋、煙草屋、製麺屋、精米所、小菓子屋が軒を並べ、それに酌婦を置く遊里が５軒ぐらいあって、さらに、高尾宿の公民館前の倉庫は巨勢町の役場があり、駐在所、病院もあって巨勢町の中心で人通りも多くつねに賑やかであった。 しかし、南に新しい道が出来て、店なども他に移り、ぽつぽつと空地もできて次第にさびれていった。