在寺院，池子西側現存的祠堂，估計與｢四国遍礼名所圖會｣（1800年）所描寫的是同一建築物。是神社裏置放寶物的地方。從寺院的本尊是大日如來來看，相對應的應該是宇佐八幡神。關於與八幡神之關係，據説奈良時代曾存在于東大寺内，空海修建的真言院裏有其資料。
其守護神是手向山八幡神(奈良県奈良市)或是宇佐八幡神(大分県宇佐市)。一脈相傳継承了這些傳説的是大日寺的神庫。現在供奉的是宇佐八幡神。祠堂在最近修復的時候改建為混凝土的建築物了。基礎部分的石塊也在最近進行過補修。平成28年(2016年)