Le parti più antiche dell'edificio risalgono al 1094. Verso il 1270 fu costruita una sinagoga più grande, che includeva parti dell'edificio più vecchio. Il muro occidentale dell'edificio risale a questo periodo. Ha le sue sei finestre originali. Un altro piano fu aggiunto all'inizio del 1300.
Nel 1349, molte persone morirono a causa della malattia della Morte Nera. La gente disse che era colpa degli ebrei. Gli ebrei furono uccisi e costretti a lasciare la città. Questo pogrom è conosciuto come il Massacro di Erfurt. La sinagoga fu danneggiata e il consiglio comunale di Erfurt prese il controllo dell'edificio. Più tardi lo vendettero ad un uomo d'affari locale. Egli la usò come magazzino e fece delle modifiche all'interno, compresa la costruzione di una cantina. Per i successivi 500 anni fu usato per immagazzinare merci.
A partire dal XIX secolo, l'edificio fu usato come sala da ballo, ristorante e persino come pista da bowling. Questi cambiamenti hanno fatto sì che la Vecchia Sinagoga sia stata per lo più dimenticata. La sua storia non è stata riconosciuta, il che ha contribuito a proteggerla durante il periodo nazista.
Alla fine degli anni '80 ci fu un rinnovato interesse per il vecchio edificio. Lo storico dell'architettura Elmar Altwasser iniziò a fare ricerche nel 1992. Il consiglio comunale di Erfurt acquistò la proprietà nel 1998 e la studiò e la conservò. Tutte le fasi della storia dell'edificio sono state conservate, non solo il suo uso come sinagoga.
Nel 2007 un raro e ben conservato bagno rituale ebraico, un Mikveh, è stato scoperto dagli archeologi non lontano dalla Vecchia Sinagoga. È stato costruito intorno al 1250.
Nel 2015 la Vecchia Sinagoga e Mikveh, e una casa di pietra nel centro medievale di Erfurt, anch'essa costruita intorno al 1250 che era appartenuta agli ebrei, sono stati proposti come patrimonio mondiale. Questo è stato provvisoriamente elencato, ma nessuna decisione finale è stata presa.
