Secondo la tradizione, la chiesa di Sant’Antonio Abate fu eretta da un capitano che, scampato a una tempesta, trovò salvezza in quel preciso luogo e, in segno di gratitudine, decise di costruire lì l’edificio sacro. Si crede che le sue origini risalgano all’XI secolo. Questa chiesa è un esempio dell’architettura religiosa romanica tipica della Puglia. Le chiese di questo stile solitamente presentano una navata centrale con cupole in asse, mentre le navate laterali hanno volte rampanti a mezza botte. Si presume che, già durante l’epoca sveva, la chiesa fosse integrata in una struttura fortificata per proteggere il porto da levante. Un documento angioino del 1269 menziona restauri sia sulla chiesa che sul vicino ponte. Entro la fine del XV secolo, la chiesa era già stata sconsacrata e utilizzata per altri scopi. Nel 1530, Giovanni Vitturi, provveditore veneto, consegnò Trani a Hernando de Alarcón, rappresentante di Carlo V, come attestato in un documento notarile redatto da De Fabritiis. Nel 1541, il viceré Don Pedro di Toledo ordinò la ricostruzione del fortino. Si ritiene che i barbacani, ancora visibili oggi, risalgano a quel periodo. La struttura subì ulteriori ristrutturazioni nel XVIII secolo.