La band esordì nel 1983 con l'album Holy Diver, pubblicato da Vertigo; oltre a Dio e Appice, apparivano Jimmy Bain (ex Rainbow) al basso e Vivian Campbell alla chitarra. L'album ebbe un enorme successo di pubblico, e contribuì a definire un certo genere di metal dai contenuti fantasy e mitologici, già in parte presenti nei lavori di Rainbow e Sabbath, ma che con Holy Diver, e il tour che ne seguì, prese forse una forma più esplicita che mai; negli infuocati show di Dio le tecnologie più moderne (per esempio il laser) venivano utilizzate per creare un'atmosfera fantastica, popolata da draghi, mostri, demoni e spettri, fornendo forse il prototipo a cui alludono molti gruppi più recenti.
Nel 1984 Dio rinnovò il suo successo con The Last In Line, altro album ricco di riferimenti mitologici, mistici e fantastici, e accompagnato da un tour con scenografie altrettanto visionarie (memorabile per esempio la collocazione della batteria di Appice in cima a una piramide egizia di oltre dieci metri, e la chitarra di Campbell dotata di raggi laser).
Sacred Heart del 1985 e Dream Evil del 1987 proseguivano essenzialmente sulla stessa linea, ricalcando i temi sia musicali sia contenutistici dei primi due lavori; nel secondo, Campbell fu sostituito da Craig Goldy, ex Giuffria. L'album successivo, Lock Up The Wolves, fu pubblicato nel 1990, con Rowan Robertson sostituto di Goldie alla chitarra, e Simon Wright (ex AC/DC) alla batteria.
Seguì la parentesi reunion dei Black Sabbath con l'album Dehumanizer, dalle sonorità molto graffianti. Di stile sonoro risentì anche il successivo album dei Dio, Strange Highways, accolto piuttosto male dai fan (l'album non entrò neppure in classifica); così come non molto soddisfacente si rivelò il seguente Angry Machines del 1996. Nel 1998 i Dio pubblicarono il doppio album dal vivo Inferno-The Last In Live, che ripercorreva tutta la carriera di Dio, compresi brani dei Rainbow e dei Black Sabbath.
Il successivo album in studio, Magica del 2000, era un vero e proprio concept album, ispirato a un libro di incantesimi. Anche questo comunque lasciò perplessi molti fan, soprattutto per i toni cupi, pesanti e piuttosto monotoni. Migliore fu l'accoglienza per Killing The Dragon, un album più leggero, che sconfina addirittura nel rock'n'roll.
L'ultima opera dei Dio è Master Of The Moon del 2004, piuttosto vicino al precedente.