Tras la construcción del castillo por parte de los templarios, se levantó lo que era el antiguo pueblo de Villel a sus pies.

Los antiguos habitantes del municipio sólo tenían acceso a él mediante los tres portales que lo custodiaban, de ese modo en el momento que la villa se sintiera amenazada por las tropas musulmanas, se cerraban los tres portales, el de Teruel, al que se llega desde la capital siguiendo el cauce del río Turia, el portal de Occidente, situado en el barrio del Concejo, y el portal Sur, situado en la calle de la Iglesia. 

Con el paso de los años, cuando el castillo dejó de tener propietario, en sus inmediaciones sólo quedaron las familias más humildes, pequeños artesanos que se dedicaban a la producción de alpargatas que posteriormente vendían en Teruel para comprar un poco de harina con la que alimentarse.