En una sentencia de 1136 dictada por el Cardenal Guido de Bolonia, recaída en el pleito entablado entre las diócesis de Osma y Sigüenza por la pertenencia de las tierras de Caracena, ya se hace mención de la existencia de un castillo en la localidad. Este primitivo castillo estuvo activo en el siglo XV durante los enfrentamientos mantenidos entre los Reyes Católicos y el señor de la villa, Juan de Tovar. En nombre de aquéllos, su leal don Pedro de Acuña, conde de Buendía, rindió la fortaleza y la confiscó. Su propietario, y señor de Caracena, Francisco de Tovar se vio obligado a demolerla. En 1491, Alfonso Carrillo de Acuña, sobrino del arzobispo de Toledo, obtiene el señorío de Caracena y procede a la reedificación del castillo siguiendo las pautas constructivas de una época en la que se había generalizado el uso de la artillería, por lo que habían sido concebidas tanto para la mejor defensa frente a las armas de fuego como para su más eficaz empleo desde el interior. A ello responden las troneras que salpican los muros castelares.

La ordenación en planta deja ver un recinto interior en forma de cuadrilátero trapezoidal jalonado por cinco cubos, en uno de cuyos vértices se alza la robusta Torre del Homenaje de forma prismática rectangular, mientras que en el opuesto se abre la puerta que lo comunica con el segundo recinto dispuesto a modo de corredor perimetral. Queda encerrado éste por una segunda muralla paralela a la primera dotada de diez cubos, dos de los cuales flanquean la entrada no enfrentada a la interior para dificultar el acceso en caso de asedio.