Le prime notizie sul "castello", ovvero, su di un "borgo fortificato", risalgono all'anno 769. In realtà, però, il vero e proprio castello potrebbe essere stato costruito, tra l'884 e l'896, per ospitare il primo Castaldo longobardo, su iniziativa, presumibilmente, dei "Monaci Benedettini", proprietari di una grande abbazia poco distante dalla fortificazione. Il primo abitatore del castello fu Adelferio I. Dopo di questo altri nobili signori di stirpe Longobarda vi dimorarono. Con l'invasione normanna il castello fu assegnato a Riccardo II, già signore e conte di Sarno. Nel 1130 ne era in possesso Rainulfo. Successivamente se ne impossessò, dopo lunga contesa, Ruggiero II. Nel 1140 "il normanno", avendo raggiunto la meta agognata (il regno di Sicilia), donò il castello a Riccardo dell'Aquila, conte di Avellino e signore di Mercogliano. Più tardi altre due famiglie si alternarono nel possesso: i Parise e i Sanseverino. Poi il castello fu incamerato dal demanio svevo (1223) e assegnato a Carlo I d'Angiò. Da questi alla famiglia dei De Montfort e, più tardi, nel 1272, venduto a Bertrando Del Balzo. A questa nobile casata appartenne fino al 1382, anno in cui passò ai Filangieri. Più tardi, nel 1513, il castello passò alla nobile marchesa di Padula Maria de Cardona, moglie del duca di Ferrara Francesco d'Este. La "Magnifica dama", come veniva chiamata la marchesa, letterata ed amante delle arti, durante il suo governo riuniva, spesso, al castello, poeti, artisti e musicisti. Alla sua morte, nel 1563, non avendo eredi, il castello fu dato in pegno ai Grimaldi e successivamente a Nicolò Doria. Nel 1581, il feudo fu acquistato da Marino Caracciolo. Nel 1591 Marino morì e gli successe Camillo Caracciolo, che con Marino II, diede avvio al restauro del castello, trasformandolo in uno splendido palazzo rinascimentale di più piani, arricchito da un vastissimo parco retrostante. Questo parco era adornato di fontane e di statue, di piante e fiori pregiati. Il castello ospitò illustri personaggi e fu sede di sontuose feste. Tra gli ospiti vi furono l'imperatrice d'Austria, sorella di Filippo IV re di Spagna, i viceré di Napoli, Ferdinando I d'Aragona ed altri. Il castello non sfuggì alla rivoluzione di Masaniello. Di esso, già abbandonato da diversi secoli, sventrato e devastato da eventi sismici non resta traccia, al di là di alcuni resti. Negli ultimi anni sono state recuperate ceramiche decorate di epoca compresa tra il V e il XII secolo. Dai ruderi attualmente visibili si può rilevare che prima delle trasfomazioni l afabbrica doveva essere simile a quella dei castelli quattrocenteschi e cioè con un avancorpo di entrata, un cortile cinto da un muraglione, il palazzo vero e quattro torri angolari. L'avancorpo, che sorgeva nel settore occidentale, dove si trova l'ingresso attuale, era costituito da due pilastri e da un ponte levatoio che conduceva ad una porta, la quale si apriva nel muro di cinta del cortile. Sul lato nord era il palazzo a pianta rettangolare, costituito da sotterranei, un pianterreno e due piani sovrapposti. Le quattro torri, poste agli angoli delle cortine murarie, erano alte e quadrangolari. Nel maniero furono ospitati per qualche tempo, oltre a Ruggiero II il Normanno, l'imperatore Lotario II, Papa Innocenzo II, l'imperatore Enrico VI di Svevia, Costanza d'Hauteville, Manfredi di Svevia, il Cardinale Ubaldini, Carlo I d'Angio, Carlo Martello, Ferdinando I d'Aragona ed il duca Francesco d'Este.