La historia más inmediata de San Pedro Mártir comienza en el mismo momento de la desamortización de 1836, cuando el 28 de enero se obligó a la exclaustración de los frailes dominicos, que eran sus propietarios, y se dio paso a la redacción de los primeros inventarios. Casi de forma inmediata, el convento fue ocupado por las llamadas Milicias Nacionales pero enseguida se vio lo poco apropiado del lugar para este fin y solo unos meses después, decidieron convertirlo en Museo Provincial, bajo la tutela una Comisión Científico y Artística creada a tal efecto y comenzando a funcionar bajo la presidencia del Vizconde de Palazuelos. Se iniciaba así una época feliz si bien duró menos de una década, desde 1838 hasta 1846, en la que se alojaron más de 2000 obras de arte procedentes de la desamortización, amén de los fondos bibliográficos procedentes del Palacio arzobispal y que se componían de las colecciones de los cardenales Borbón y Lorenzana, además de la biblioteca de los jesuitas, expulsados un siglo antes.La inviabilidad de San Pedro Mártir como Museo hizo tomar un nuevo rumbo a las autoridades, que decidieron convertirlo en Panteón de hombres ilustres, proyecto que se creaba a fin de salvaguardar la existencia de un buen número de sepulcros procedentes de conventos y monasterios de la ciudad. Como usufructuaria del edificio, la Junta Provincial de Beneficencia se quedaría con la tutela del panteón de hombres célebres e ilustres. Es posible, tal y como ha señalado F. García que la idea surgiera a raíz de la venta y posterior demolición del convento de Nuestra Señora del Carmen. (F. GARCÍA, 2008:47) Del desaparecido convento, perteneciente a la orden de carmelitas calzados, se trajeron algunos retablos y especialmente los sepulcros dobles de los Condes de Fuensalida, patrones de la capilla mayor de aquella iglesia conventual y se alojaron en el emplazamiento que hoy ocupan, a ambos lados del crucero. Todavía hoy es evidente la huella del celo de la Comisión por recoger epígrafes y lápidas, a medida que se iban destruyendo edificios históricos y que, repartidas por los muros y el suelo de la iglesia conventual, hablan de la memoria que la ciudad quiso guardar de sus hombres ilustres. Todavía en 1929 se alababa el acierto de esa decisión pues no había otro santuario en Toledo más apropiado que aquél cuya grandiosidad de arquitectura, fría y severa, siempre en soledad y solemne silencio, brindaba un seguro recinto sagrado y lugar de reposo a los restos mortales de famosos personajes