Une ancienne tradition attribue au château 365 chambres, une pour chaque jour de l’année.
Assignée à partir de Federico II à Gentile de Petruro et ensuite par les Anjou à De Poncellis, au XVe siècle, la ville de Brienza a étroitement lié son histoire à la famille des Caracciolo qui se sont installés en permanence dans le château et l’ont agrandi.
Le Caracciolo, avec des hauts et des bas, sont restés propriétaires du domaine et du château jusqu’en 1857, lorsque le dernier membre de la famille, Maria Giulia, le légua à son neveu Louis Barracco.
Il a commencé à partir de ce moment le lent déclin du manoir.