El historiador Fernán Pérez de Guzmán en su «Crónica» nos describe con todo lujo de detalles el palacio preparado para las fiestas con que Álvaro de Luna agasaja al rey Juan II y a la reina Isabel de Portugal, recién llegada a Castilla, para la Pascua de Navidad de 1447. Todas las salas y habitaciones guarnecidas de paños franceses o paños de seda y oro y perfumadas con diferentes y exóticos aromas. El comedor para los banquetes, instalado en el llamado salón de las Embajadas, que a todos los viajeros antiguos les llamaba poderosamente la atención por sus notables y preciosos arabescos, estaba muy ordenado y todas las mesas decoradas con esmero, la vajilla de oro y plata, las copas de oro con muchas piedras preciosas y bandejas, confiteros, barriles y cántaros para el vino también de oro y plata y cubiertos de sutiles esmaltes y labores. Sobre unas gradas se colocó la mesa principal, sobre el techo y las espaldas de ella ricos paños de brocados de oro, «hechos a la nueva manera» dice el cronista. El rey fue servido en una espectacular copa de oro que en la sobrecopa tenía engarzadas enormes piedras preciosas y de esmerada perfilación.
Al caer en desgracia Álvaro de Luna, ajusticiado en Valladolid, Escalona fue sitiada por las tropas del rey en 1453 y la fortaleza se entregó después de veinte días de resistencia dirigida por su viuda Juana Pimentel y su hijo Juan de Luna. En 1470 Juan Pacheco, maestre de Santiago y marqués de Villena, recibió la villa y el título de duque de Escalona por parte de Enrique IV de Castilla, hasta que por el Tratado de las Vistas de Guisando, en 1468, en las que Enrique IV nombra heredera del reino a la futura Isabel, la Católica, entre otra villas le dona también Escalona. Los franceses en la Guerra de Independencia, por no mudar costumbre, bombardearon con saña el castillo y utilizaron sus vigas para hacer un puente sobre el río Alberche. Un destrozo tremendo de una de nuestras grandes joyas patrimoniales.
El periodista toledano Santiago Camarasa realiza un magnífico reportaje en el «Blanco y Negro» de 1930 y dice, apesadumbrado ante su ruina, que «reconstruir el castillo sería una utopía». Parece que esa utopía se va a hacer realidad ahora que ha pasado por compra a manos del municipio y, como adelanta su alcalde, Álvaro Gutiérrez, rehabilitarlo para darle un uso turístico e incorporarlo a la Red de Hospederías de Castilla-La Mancha.