位于徳島香川交界的阿讃山脈，孕育着一条向南奔流的黒谷河，在河川傍，有一座海拔70Ｍ左右的高坡，在緩緩的山坡上，耸立着一座面南的寺院。
815年，弘法大師在此地感悟到大日如来，一刀三拜，彫刻了１寸8分的大日如来像。大日寺的名稱由此而來。
根拠元禄2年的『四國遍礼霊場記』（寂本1631-1701）記載，寺院過去有著富麗堂皇的堂宇，可惜在歳月的流逝中渐渐荒廃。後来，応永年間(1394-1428)一位叫松法師的人，得到托夢，並依照托夢対堂宇進行修復。
這一傳說被寫進了『阿波史』(1815年)中。 其後，寺院再次荒廃。徳島的第二代藩主，蜂須賀忠英在1649年，捐贈木材，修建了正殿。 此後，1681年・1688年再度興建。 後來，1692年第五代藩主蜂須賀 綱矩，1799年第11代藩主　蜂須賀 治昭，分別對寺院進行修復。延續至今。
另外，此地三面環山，俗稱黒谷，故本地人習慣上把寺院稱作「黒谷寺」。 一般認為黒巌山的山號也由此而來。現在，是京都東寺的分寺。其實這是1887年以後的事。 在這之前，屬於真言宗禦室派，這従禪堂的瓦片和入口處隔欄上的寺徽十六辮菊花紋也能得到印証。
2013年徳島県教育委員会對寺院進行了挖掘，對歴史文物進行了調査。拠調査報告記載，在正殿（大日堂）的後方，在『四國遍礼霊場記』(1689年)中有記載著標記｢天照大神｣建築物，而『四国遍禮名所圖會』(1800年)中却沒有記載。其次，在正殿北側，有鎌倉時代以後的遺跡，在寺院境内及周辺有五輪塔等中世紀的石造物，在12世紀有陶窯的存在，可以証明當時有兼業燒陶的可能性。考証認為，在江戸時代前期進行的新建築工事中，該遺跡遭到破壊。結合分布在寺院周辺的五輪塔和船形五輪塔，焼窑資料来分析，在当地，中世紀已經存在著宗教設施。