Nella biografia di Victor Hugo tracciata da Alexandre Dumas, nel capitolo relativo all'anno 1807 e al "voyage en Italie", ci sono precisi riferimenti al "palazzo di marmo" avellinese che l'ospitò bambino dal dicembre 1807 fino all'estate successiva. La facciata del palazzo, di proprietà della famiglia de Conciliis, si inquadrava come fondale di piazza Maggiore, cui si accede mediante una viuzza laterale al Duomo. L'edificio era sorto nel secolo XVIII. Costituito da muratura in tufo con basamento in pietra viva ed elementi decorativi classicheggianti, corrispondeva alla tipologia della "casa palaziata" settecentesca con cortile interno e spazi abitativi sviluppantisi verticalmente intorno ad esso. Al centro del prospetto principale, un corpo di fabbrica incorniciato da due ordini di lesene sormontato da un timpano e leggermente avanzato rispetto al piano della superficie della facciata, racchiudeva l'ingresso dell'edificio. Quest'ultimo era a sua volta evidenziato da un maestoso portale costituito da un arco a tutto sesto in pietra calcarea, inquadrato da due grosse lesene e da una trabeazione di stile classico. Dal portone di ingresso si accedeva ad una galleria collegata a piano terra con i locali di servizio e probabilmente con la scuderia. La galleria sfociava poi in una corte interna con pozzo che inquadrava la scala di accesso ai due piani superiori che costituivano la vera e propria abitazione. Il primo piano interessava solo l'ala nord del fabbricato ed era probabilmente utilizzato per ambienti di soggiorno. Al piano nobile, invece, trovavano posto i locali di rappresentanza e le stanze da letto. Una lapide apposta sul prospetto principale ricorda la permanenza del piccolo Victor Hugo che in questo palazzo, dove dimorava il padre Leopold Sigisbert, ufficiale dell'esercito francese, festeggiò il suo sesto compleanno il 26 febbraio 1808, circondato da tutta la sua famiglia riunita forse per l'ultima volta, tanto da conservare a lungo la memoria di questo periodo felice e spensierato e dei luoghi del suo, sia pur breve, soggiorno. Già nel 1848 PietroGiacomo de Conciliis aveva ceduto ad uso d'ospedale il suo palazzo, che costituiva solo una parte, forse il nucleo centrale, del complesso di case palaziate di proprietà della ricca famiglia site "dentro la Terra". Di questa proprietà era parte anche il palazzo che aveva ospitato Victor Hugo, e che venne ereditato da Michelina de Conciliis, che non avendo eredi, nel 1902 lo donò all'ospedale per farne sede di istituzioni di assistenza alla maternità e all'infanzia. Nel 1959, trasferitosi l'ospedale in contrada Pennini, i locali dell'ex palazzo de Conciliis furono occupati da alcune aule dell'Istituto Statale d'Arte, finché nel 1965 non furono abbandonati e destinati ad un orribile degrado, cui si aggiunsero i danni provocati dal terremoto del 1980.In seguito gli immobili dell'ospedale sono stati trasferiti al Comune, che intanto ha restaurato il palazzo di donna Michelina de Conciliis, dove ora ha sede la Casa della Cultura "Victor Hugo", mentre ha demolito l'ex ospedale per costruirvi un grande moderno Teatro. La piazza Maggiore ora si chiama "piazza XXIII Novembre".