C’est vers le XIVème siècle que des ermites sont venus s’isoler dans les grottes naturelles des Gorges. Ils placèrent le site sous la protection de St Antoine. L’ermitage, construit dans une cavité naturelle de la falaise surplombe le canyon des Gorges et offre un spectacle à « couper le souffle ».