El castillo de Ucero está situado sobre una elevación que domina todo su entorno, en este caso la villa de Ucero, el río de igual nombre, el valle del río Chico y la impresionante hoz del río Lobos. Se tiene comúnmente por cierto que el castillo de Ucero fue levantado por los caballeros Templarios a mediados del siglo XII, y que don Juan González de Ucero, que participó en 1212 en la batalla de Las Navas de Tolosa al lado de su rey, Alfonso VIII, fue proclamado señor de la villa por aquella acción. Obtuvo el señorío más adelante don Juan García de Villamayor, y lo siguió ejerciendo su viuda, doña María de Ucero (María Alfonso de Meneses). Parece ser que mantuvo amoríos con el infante Sancho (luego Sancho IV, rey de Castilla y León), fruto de los cuales fue una hija a la que el futuro rey puso por nombre el de su madre, Violante, en una ceremonia bautismal a la que concurrió como madrina María de Molina, la que más tarde sería su verdadera esposa. El dicho Juan García de Villamayor, queriendo a la hora de morir redimirse de las tropelías cometidas por él y sus gentes en las tierras de su señorío, dejó testado que se vendiese éste por precio casi nulo al obispado de Osma. Así, por esta última voluntad, el obispo don Juan de Ascarón lo adquirió en 1302 para incorporarlo al patrimonio de la diócesis. Desde entonces el castillo ha estado en poder de sus prelados a quienes ha prestado un dispar servicio: como mansión palaciega para los obispos que acudían a solazarse con la pesca de la trucha en el acotado río Ucero, y como cárcel para los clérigos que la merecieron.