五輪塔は、仏教で言う地・水・火・風・空の五大をあらわすものとし、主に供養塔・墓塔として使われる仏塔の一種である。本来、五輪の各部を別石で造るのが一般的であるが、全体を一つの石で彫り出した様式を一石五輪塔という。 大分県臼杵市中尾の嘉応2年（1170）より始まり、一般の五輪塔とほぼ平行して造立されている。しかし、室町時代に入ると小型のものが近畿地方を中心に多出するようになるが、それらは、個人的な信仰色が強く、大きさも60センチメートル前後と小形化し、簡略化されるのが特徴であり、このことは、産地で量産されて搬出されたとみることができる。 多聞院の一石五輪塔は、総高91センチメートルで、一石五輪塔としては大型である。製作年代は室町時代と推定される。

　祭神は、猿田彦神で交通神として知られています。与賀神社の末社で、与賀神社参道のこの地に古くから鎮座されていたと伝えられています。 　この社は、1964年（昭和39年）道祖神1400年祭を施行した古い歴史をもっています。