La chiesetta si trova quasi in cima al promontorio del borgo antico di Porto Ercole, posto più a sud del paese sopra il molo di Santa Barbara, laddove svetta sia il faro che la Rocca aldobrandesca. La primitiva struttura risalirebbe addirittura al IV secolo, e dedicata appunto a Sant'Erasmo da Formia (protettore dei naviganti e patrono di Porto Ercole), nel punto dove oggi è ubicato il coro. A questo, si aggiunse un piccolo oratorio del VII secolo. Essa si trovava ancora all'interno delle mura senesi, per distinguerla da un'altra Sant'Erasmo, eretta fuori le mura. Per molti secoli infatti, fu la parrocchia del paese, e fu rimaneggiata e ristrutturata quasi totalmente nel XVII secolo nella facciata attuale, in stile toscano barocco molto semplice, con un portale sormontato da un frontone triangolare, e un piccolo rosone che si apre al centro. Tuttavia, il preesistente campanile, in stile spagnolo a vela (XIV secolo), fu colpito da un fulmine nel XVIII secolo e danneggiato gravemente (ne restano alcuni ruderi sul tetto della sagrestia) e pertanto, nel 1915, fu eretto quello attuale.
La chiesa è divisa in due navate, una principale e una laterale minore rivolta verso il mare. Il soffitto della navata principale è sorretto da capriate originali del XVII secolo. La chiesa perse d'importanza a circa metà del XX secolo, quando fu costruita la parrocchiale di San Paolo della Croce nel borgo moderno, sebbene questa antica chiesa venga aperta per alcune messe e per commemorazioni.
Dietro la chiesetta, percorrendo una sconnessa gradinata aperta in salita sulla destra, uscendo dall'abitato in direzione del promontorio con il faro a sud della Rocca aldobrandesca, si trovano ormai pochissimi ruderi di quella che fu la Confraternita di Santa Croce (XV secolo), ove era ubicato un piccolo sanatorio dedicato a Santa Maria Ausiliatrice. Secondo l'ipotesi ufficiale, fu qui ricoverato, già in fin di vita, il noto pittore Michelangelo Merisi, detto Caravaggio, il 18 luglio 1610, trovato già moribondo dagli allora portoercolesi sulla spiaggia della Feniglia; sempre secondo l'ipotesi ufficiale, il cadevere fu quindi seppellito al vecchio cimitero di San Sebastiano, laddove ora sorge un piccolo mausoleo a lui dedicato, ovvero all'inizio di Via Nuova, nel borgo attuale. Al suo interno, cinque delle nove presunte ossa del pittore rinvenute.