En época musulmana y como finca de recreo de la Taifa valenciana, el rey Abd al Aziz mandó construir en el siglo XI un palacio. Tras la Reconquista y con su adecuación, fue residencia de los monarcas cristianos, alcanzando su esplendor con Alfonso IV el Magnánimo, ubicándose en su interior el Archivo del Reino.
Fue visitado por los Austrias, para entrar en un proceso de degradación culminado con su derribo en la guerra contra el invasor francés al que temían se hiciera fuerte entre sus paredes.
