与賀神社楼門は、構造形式から見ると、室町時代前後のものと推定される。『藤龍家譜』によれば、「文明14年(1428)大宰少弐政資が、父教頼(のりより)の旧館を改修して与賀城を築き、与賀神社を城の鬼門の鎮守となし」との記載があり、それと推考される。
その後、文禄5年(1596)大修理を行い、寛文3年(1663)宝暦年間や、幕末及び明治・大正にも小修理が行われた。
最初は柿葺(こけらぶき)であったが、後に銅葺に改められた。終戦後腐朽し建物全体が弛緩したので、昭和25年(1950)11月、文化財保護委貝会の指導を受けて、全部解体し、後世改修していた部分は旧状に復し、根本修理が実施され、同27年(1952)5月に完成した。
この楼門は正面3間、側面2間、白然石の礎石に円柱を建て、中央通りの床を石敷とし、なかに両開框組板戸を設けている。正面の両端間には組格子窓、両側面各間と後面両端間は、板嵌である。
初層の斗栱(ときょう)は四方廻縁(まわりえん)の腰組となって、縁廻をうけている。縁四方には和様の勾欄(こうらん)をめぐらしている。斗栱は廻縁下は和様の連三斗、上層は和様の出組で絵様拳鼻がついている。軒廻は地種、飛檐棰(ひえんたるき)とも疎棰(そたるき)に配置して二軒となって、頭貫鼻、墓股等随所に絵模様彫刻が使われている。
この楼門は軸部、軒廻、斗栱等の大部分の化粧材を丹塗(にぬり)とし、格子組は黒塗、木口は黄土塗である。全体の様式は和様の手法によっているが、細部には唐様の手法も使われている。佐賀県下では現存する最古級の木造建築物であって、極めて貴重な遺構といえる。