L'eremo, scavato interamente nel tufo è databile intorno al 1027, anche se gli abbellimenti architettonici e pittorici dovrebbe essere stati fatti intorno al XIII secolo. Particolarmente interessante come struttura e come disegni, l'Eremo di Poggio Conte è stato frutto di numerosi studi.I soggetti e lo stile delle raffigurazioni pittoriche, mal si confanno ad un eremo cristiano.
Le decorazioni infatti sono per lo più floreali e la volta a crociera, senza chiave, termina con dei lobi con pitture geometriche, floreali e sessuali. Richiami fallici con triangoli rovesciati, hanno alimentato il mistero sull'eremo.
I richiami cristiani non mancano, infatti vi sono dodici nicchie dove vi erano gli affreschi dei dodici apostoli. Purtroppo sono stati trafugati nel 1964 e ne sono stati recuperati solamente sei che sono esposti al Museo civico archeologico di Ischia di Castro. E' presente anche un altro affresco sulla cupola in fondo, che rappresenta due santi mitrati, probabilmente S. Colombano e S. Savino.
Come fanno a convivere in un unico eremo simboli cristiani con simbologia pagana?
Si pensa che la spiegazione per questo dualismo simbolico sia da ritrovare nel fatto che secondo alcuni l'eremo fu abitato da monaci cattolici solamente dopo il 1300, mentre prima doveva essere appartenuto all'ordine dei cavalieri del Tempio.
A supporto di questa teoria della quale non si hanno fonti storiche, ma solo supposizioni, vi è la vicinanza con la via Clodia, antica via romana controllata e protetta dall'ordine dei Templari. Si pensa pertanto che l'eremo sia stato costruito dai Templari intorno all'anno 1000 per poi finire in mano cristiana dopo il 1312 a seguito della soppressione dell'Ordine.
Particolarmente interessante è anche notare le tombe a camera poco distanti dall'eremo.