Secondo alcuni manoscritti del 1787, la costruzione del castello risalirebbe già all’804, a opera del barone Antonio Caffo.

Più probabilmente il castello fu edificato nel XII sec. e fu dimora di molteplici feudatari: si susseguirono dal 1117 Albereda di Chiaromonte, signora di Colobraro e Policoro, moglie ripudiata di Roberto il Guiscardo; dal 1119 il Conte Bertaimo d’Andria che la donò a Ugone e Margherita, Conti di Chiaromonte; dal 1270 i signori Angioni Taxino de lovino e da questi passò a Eustachio de Jovenale da Colobraro; dal 1463 Roberto Sanseverino Principe di Salerno; dal 1562 Eleonora Comite.

Il castello, come apprendiamo da Lorenzo Giustiniani, nel 1617 fu acquistato dalla potente famiglia dei Carafa della Stadera di Napoli con cui avrà una certa stabilità nel potere. Carlo Carafa sarà il primo a prendere il titolo di Principe di Colubrano, titolo che la famiglia ha sempre mantenuto. Dalla famiglia Carafa discende il noto musicista Michele Enrico CARAFA, collega coevo di Gioacchino Rossini.

Nel 1732 la terra di Colobraro passò alla famiglia dei Donnaperna, che ne furono marchesi fino all’unità d’Italia; poi il castello passò ai Brancalasso di Tursi e venne abbandonato andando in decadenza.

Il castello è posto sul punto più alto del borgo ed è raggiungibile da percorsi ripidissimi che tagliano verticalmente il lato sudovest della collina, su cui è arroccato Colobraro. Sul lato nord-orientale, praticamente irraggiungibile, vi è un residuato delle mura di cinta, munite di feritoie. A nord è ancora visibile una torre angioina e spezzoni di muro che testimoniano la presenza di un ponte levatoio; presente e intatta anche la scalinata che conduce dal paese al castello.