Pierwsze wzmianki o zamku pochodzą z VI wieku. Dobrze usytuowany na wzniesieniu zamek był miejscem niezliczonych bitew . W 1193 roku Jan Bez Ziemi pozostawia fortecę Filipowi Augustowi. Rok później po zaledwie kilkugodzinnym natarciu zostaje zdobyty przez Ryszarda Lwie Serce.
Król Francji Filip II August potrzebuje całego roku aby po długim oblężeniu odzyskać zamek, a następnie umacnia jego części obronne obronne i buduje 3 wieże. W jednej z wież zawieszona była klatka, w której ważni więźniowie zamykani byli na noc, aby uniemożliwić im ucieczkę. Małe wymiary klatki uniemożliwiały człowiekowi o normalnym wzroście stanąć na nogach, a każdy ruch powodował poruszanie się klatki i zwiększenie niewygody. W 3 piętrowym więzieniu wbudowanym w skałę więziony był w XVI w. Ludwik Sforza – książę mediolański.
Znajduje się tu salon, w którym w roku 1429 Karol VII przyjął Joannę d’Arc, przypominającą mu, że musi się udać do Reims, gdzie miał zostać ukoronowany. W zamku tym przebywała Agnes Sorel-pierwsza oficjalna faworyta króla Karola VII, która zmarła w 1449 r. w wieku 28 lat.
W trakcie rewolucji francuskiej zamek uległ znacznemu zniszczeniu. Mimo prac restauracyjnych nie udało się go całkowicie zrekonstruować . Jest on obecnie własnością gminy Loches i jest w pełni dostępny do zwiedzania.