Situata nella parte "bassa" del centro storico, la collegiata di Santa Croce è la chiesa principale di Ostra. Edificata dopo il Mille, fu inizialmente abbazia dei monaci benedettini, quindi rettoria (1430) e, successivamente, chiesa priorale con proprio vicario perpetuo, nominato direttamente dall'abbazia di Santa Maria di Sitria (1537). Il 1º novembre 1795 papa Pio VI eresse la chiesa di Santa Croce a collegiata, affidandola ad un "collegio dei canonici" e ad un arciprete di nomina papale.

Il collegio rimase in carica fino all'avvento del Regno d'Italia, quando il "Decreto Valerio" soppresse tutte le congregazioni religiose incamerandone i beni. La chiesa rimase così solo sede di parrocchia, anche se il parroco mantenne il titolo di arciprete. Il 3 novembre 2008 la Congregazione per il Culto Divino e la Disciplina dei Sacramenti ha concesso alla chiesa il titolo di basilica minore.

Dal punto di vista architettonico, la vecchia chiesa romanica, detta "delle quattro colonne", fu completamente ricostruita, su progetto dell'architetto Giuseppe Ferroni, tra il 1848 e il 1851, in quanto ormai troppo piccola e in grande decadenza. La facciata, terminata nel 1869, fu arricchita con due statue raffiguranti i santi Pietro e Paolo, oggi non più presenti a seguito del secondo conflitto mondiale. Dopo la guerra fu anche ricostruito il campanile, danneggiato dai colpi di cannone. Internamente la chiesa si presenta in stile neoclassico ornato, suddivisa in tre navate da due file di colonne scanalate con capitello corinzio.

La Basilica Collegiata di Santa Croce è facilmente accessibile a tutti.