Edificato nel 1755 da Geronimo Palumbo, il palazzo rappresenta l’esempio più significativo di architettura civile barocca della città. Sebbene il casato sia sempre stato presente in città, si ritiene che Geronimo provenisse da una famiglia di Cerignola. Fu un influente commerciante ed esportatore di granaglie. La famiglia aveva un proprio sepolcro nella chiesa di San Domenico, nell’area che un tempo apparteneva ai De Angelis. Nel 1806, il palazzo divenne dimora del Barone Riccardo Candido. Nel 1872, fu acquisito dalle famiglie Quercia e Brunetti. Adolfo Quercia, a cui la piazza adiacente è dedicata, fu sindaco di Trani all’inizio del XX secolo. Successivamente, il grande appartamento sul prospetto principale passò ai Campione, che ancora oggi ne sono i custodi. Si distingue l’affresco dello scalone monumentale, opera di Thomas Fontana.