Torrijos está enclavado en un paraje antaño conocido como El Retamar, en el Camino de Castilla que une Salamanca, Ávila y Toledo. Desde el alto de Ceniceros domino un buen trecho. Lázaro de Tormes pasó por aquí en su itinerario de aventuras.  «Y, antes de que la noche viniese, di conmigo en Torrijos».  Sale escapado de Escalona y desde Torrijos regresa sobre sus pasos a Maqueda y allí se asienta con el clérigo que lo mata de hambre. 
Alfonso VIII donará la población al Cabildo de la Catedral de Toledo en pago de la ayuda que el arzobispo de Toledo, Jiménez de Rada, le dará en la batalla de Las Navas de Tolosa y será del Cabildo toledano hasta finales del siglo XV cuando la compra el noble Gutierre de Cárdenas.
El rey Pedro I de Castilla, tuvo querencia por Torrijos. Construyó un gran palacio para regalarle a su amante María de Padilla y en él pasó muchas temporadas. Pedro López de Ayala en la 'Coronica del Serenísimo Rey Don Pedro' nos cuenta las espectaculares fiestas que organizó en él por el nacimiento de una de sus hijas y en ellas sufrió una grave herida en un brazo durante un torneo de cruce de lanzas. 
Torrijos, hasta el decreto de expulsión de los judíos, tuvo una colonia muy importante hebrea dedicada a los negocios con mucha influencia en toda Castilla. Precisamente, en la sinagoga judía se levantará el Hospital de la Santísima Trinidad. 
El gran despegue de Torrijos será en tiempos de los Reyes Católicos, cuando el contador mayor del reino, Gutierre de Cárdenas, señor de Maqueda, como dije, compre al cabildo de Toledo la población y consigue que en 1482 sea declarada villa. Él y su mujer, Teresa Enríquez, realizaron grandes obras arquitectónicas, la mayoría, por desgracia, desaparecidas: la Colegiata, iniciada en 1509 y concluida en 1518, el palacio de los señores de Maqueda, el monasterio de Santa María de Jesús, réplica del monasterio de San Juan de los Reyes de Toledo de Juan Guas, el Hospital de la Consolación o de Afuera, la muralla y el Hospital de la Santísima Trinidad. Cuando desaparecen los señores de Maqueda vendrá la decadencia de la villa. Los franceses en la Guerra de Independencia, la desidia y el tiempo destruirán buena parte de aquel espectacular patrimonio.