Ses ruines restèrent à l’abandon jusqu’en 1854. Cette année-là Paul Abadie fils la « remonte » partiellement au rez-de-chaussée de la nouvelle chapelle de l’évêché.
Ainsi furent sauvegardées d'exceptionnelles sculptures de la Renaissance :
- méplats aux décors mêlant rinceaux, personnages, objets, animaux, scène allégoriques et devises latines couvrant les murs ;
- restes d’un magnifique autel ;
- plafond d’un tympan aux caissons hexagonaux et une frise ornée de sept petites niches à coquilles, ayant chacune dans leur milieu un socle, probablement destiné à recevoir des bustes de saints.
A l'angle de la rue Friedland et de la rue de l'Evêché, sur le faîtage du pignon nord d’une aile du Musée on aperçoit la statue d’un singe, un singe laid. Il brandit le blason d’Octavien de Saint-Gelais, évêque d’Angoulême en 1494. Il s'agit d'une «arme parlante», figure formant un jeu de mots.
