Ponza è collegata quindi al mito della maga Circe, la maga che, dopo aver ucciso il marito, si trasferì a Ponza e traformò gli uomini in animali e le donne in sirene e che tentò di trattenere Ulisse e le sue truppe.

Con l'arrivo dei Romani a Ponza arrivarono le loro grandi ville e gli acquedotti ma anche gli esiliati. Ponza infatti divenne casa di persone scomode che avevano commesso reati contro lo stato e il cristianesimo; questa cosa continuo quasi fino ai nostri giorni, i fascisti infatti vi confinavano gli uomini avversi al loro regime.

Il più importante tra i personaggi illustri relegati sull'isola fu sicuramente San Silverio, eletto Papa nel 536, dichiarato eretico da Theodora, moglie dell'imperatore Giustiniano e esiliato a Ponza dove morì l'11 novembre 537 e divenne santo patrono dell'isola.

Nei secoli successivi l'isola subì numerosi attacchi da parte dei Saraceni, che riuscirono a conquistarla nell'845 d.C. e che furono sconfitti e scacciati solo diverso tempo dopo dalle repubbliche marinare di Gaeta e Amalfi.

Nel corso dei secoli l'isola venne lentamente spopolata fino a quando, nel 1734, divenne un dominio del Re di Napoli e il suo ripopolamento fu affrontato promettendo ai coloni le infrastrutture necessarie e con la costruzione di importanti opere pubbliche (come il porto di Ponza, iniziato nel 1775).

Inizialmente non si ebbero risultati, una buona ondata di immigrati arrivò solo nel 1770. I primi ad arrivare furono i coloni dediti all'agricoltura, provenienti anche dalle terre campane colpite nel 1771 dall'eruzione del Vesuvio, ai quali si aggiunsero pescatori e marinai.

A questo periodo risalgono grandi opere militari e non come Forte Papa, Frontone e il carcere di Santo Stefano.

Nell'Ottocento, dopo una breve parentesi napoleonica e inglese, l'isola torna al suo consueto e nel 1861 viene annessa all'Italia e collegata con la terraferma dalla linea SPAN.

L'isola mantenne sempre la funzione di "luogo di relegazione" per i personaggi avversi al potere, prima per la corona, poi per il regime fascista. Tra i tanti inviati sull'isola vi fu anche il futuro Presidente della Repubblica Sandro Pertini e lo stesso Benito Mussolini prima di essere trasferito al Gran Sasso.

Il dopoguerra fu difficile ma ricco di cambiamenti, dagli anni '60 si vide infatti un notevole aumento del turismo sull'isola con un conseguente aumento dell'edilizia e un repentino abbandono dell'agricoltura.