Es el edificio más antiguo y ciertamente más emblemático de Villel, ocupando un lugar predominante en el escudo de la villa.

Está situado en lo alto de una roca, en el centro del pueblo, de difícil acceso, con una caída con respecto al nivel del río de unos 65 metros. Su zona norte es un precipicio, sólo queda como accesible la zona sur, donde estaba la única puerta de entrada.

Es un castillo estratégicamente situado, desde su posición se vigila perfectamente el estrecho Valle del Turia a su paso por la localidad, alrededor del peñasco y su castillo se sitúa la parte más antigua del pueblo, el caserío lo rodea como si fuera un anillo. 

Su superficie, debido a la topografía es irregular, la planta se asemeja a un cuadrilátero de 45 x 25, la superficie aproximada que encierra el perímetro externo (147m) es de 1200 metros cuadrados. Antes de ser restaurado se apreciaban restos de la muralla, obra de mampostería y ripios como era usual, de un grosor medio entre 2,5 y 0,7 metros.

En el interior del recinto se adivinan los restos de varias dependencias, que desde mediados del S. XIV hasta el S. XIX fueron los silos o graneros de la Orden Hospitalaria.

Tuvo aljibe de 4 x 2 metros cuya profundidad no es posible determinar, para el almacenamiento de agua en caso de asedio.

En su parte occidental se alza orgullosa la torre del homenaje, un rectángulo de 8 x 6 metros y muros de 2,3 m. de grosor, presenta dos plantas abovedadas con medio cañón y una escalera de caracol para acceder a la primera planta, sede del Comendador y la segunda planta a la que se accedía por el exterior y donde se ubicaba la guardia. 

El castillo tuvo su apogeo entre los S. IX y XVI. Al cesar la reconquista y unificarse los reinos de Castilla y Aragón, van perdiendo su razón de ser de forma lenta pero inexorable, a pesar de todo, se mantuvo en buen estado mientras perteneció a la Orden de San Juan del Hospital. En 1.840, fecha en que dejó de tener un dueño específico, motivo por el que cesaron las reparaciones habituales, ello unido al paso del tiempo y a las inclemencias meteorológicas, sin olvidar los destrozos de la Guerra civil, lo convirtieron en ruinas.

El castillo además de ser el emblema de la población tiene elementos únicos que lo hacen especialmente atractivo al visitante, como son los graffitis, unos dibujos incisos en las paredes que milagrosamente se han mantenido y que son todo un documento gráfico de la  caballería de las armas y arreos de estos medio monjes medio soldados, de cómo asediaban y de cómo establecían sus campamentos… son historias, retazos del recuerdo de la dura vida castrense de templarios y sanjuanistas, hechas en las frías veladas de guardia, a modo de conjuro contra el sueño y el aburrimiento .

La falta de excavaciones arqueológicas nos priva de conocer los restos más antiguos y la edad de los estratos ancestrales de Villel. Hay dos razones que nos inclinan a pensar que en época celtíbera hubo un poblado fortificado en la parte alta de la localidad, era lo usual entre estas tribus, su ubicación permite vigilar o controlar el valle cuya vía de comunicación natural pasa por aquí obligatoriamente rumbo al norte desde levante y también al sur y al centro peninsular.

Las citas primeras al castillo de Villel son de historiadores musulmanes que desde el S. XI hacen mención a su pertenencia a los Banu Gazlum, vasallos de los señores de la Sahla (Llanura), los también beréberes Banu Razín.

Luego vendrá la Reconquista y el Cid que en 1093 pasará un tiempo en el castillo, para sanar de una herida infligida por los musulmanes cuando cayó en una emboscada por tierras de Albarracín. 

Villel es reconquistada de nuevo a los musulmanes en 1179 por tropas de Alfonso II, rey de Aragón, cuyo capitán Martín Pérez de Arándiga pasó a ser Martín Pérez de Villel, como flamante Teniente de la Villa y sus alrededores, aunque el Rey se reservó el castillo, el horno y el molino para si.

Luego vendrán las ordenes militares: Santo Redentor, Templarios, Sanjuanistas… que le darán su forma definitiva,  ésta era zona de frontera con Levante, con Castilla, no se sabía por donde podría venir el peligro; pero también el castillo fue lugar seguro y refugio para los huidos y desplazados de las guerras, tal fue el caso en la Guerra de los dos Pedros en el S. XIV, el Rey de Aragón, ante las inminentes acometidas del castellano, mandó a Gonzalo Fernández de Heredia que la gente de frontera fuera obligada a recogerse en los siguientes castillos “(…)”: citando a Villel entre ellos, ya bien reforzado con nueva guarnición.

La última huella cruel de las Guerras ha sido la de la Guerra civil del 1936-1939, ya un castillo en ruinas, sirvió como observatorio republicano antiaéreo.