La prigione fu costruita nel 1876. All'inizio era usata solo per i soldati, ma dopo il 1919 fu usata anche per i detenuti civili. All'epoca conteneva fino a 600 detenuti.
All'indomani dell'incendio del Reichstag del 1933, oppositori di Hitler e giornalisti come Egon Kisch e Carl von Ossietzky vi furono tenuti in cosiddetta custodia protettiva. La prigione di Spandau divenne una sorta di predecessore dei campi di concentramento nazisti. Doveva essere controllata dal Ministero della Giustizia prussiano, ma la Gestapo torturava e abusava dei suoi detenuti, come Egon Erwin Kisch ricorda nei suoi ricordi della prigione di Spandau. Alla fine del 1933 i primi campi di concentramento nazisti erano stati costruiti (a Dachau, Osthofen, Oranienburg, Sonnenburg, Lichtenburg e i campi di palude intorno a Esterwegen). Tutti i prigionieri rimasti in "custodia protettiva" nelle prigioni statali furono trasferiti in questi campi di concentramento.
Dopo la seconda guerra mondiale fu gestito dalle autorità delle quattro potenze per ospitare i criminali di guerra nazisti condannati alla reclusione nei processi di Norimberga.
Solo sette prigionieri furono infine imprigionati lì. Arrivati da Norimberga il 18 luglio 1947, erano:
- Rudolf Hess - sta scontando l'ergastolo (morto nel 1987)
- Walther Funk - sta scontando l'ergastolo (rilasciato il 16 maggio 1957)
- Erich Raeder - sta scontando l'ergastolo (rilasciato nel 1955)
- Albert Speer - che sta scontando una pena di 20 anni (rilasciato nel 1966)
- Baldur von Schirach - in servizio per 20 anni (rilasciato nel 1966)
- Konstantin von Neurath - in servizio per 15 anni (rilasciato nel 1954)
- Karl Dönitz - in servizio per 10 anni (rilasciato nel 1956)
Dei sette, solo quattro scontarono tutta la pena; gli altri tre, Neurath, Raeder e Funk, furono rilasciati in anticipo per motivi di salute. Tra il 1966 e il 1987, Rudolf Hess fu l'unico detenuto nella prigione di Spandau. Il suo unico compagno era il direttore, Eugene K. Bird, che divenne un caro amico. Bird scrisse un libro sulla prigionia di Hess intitolato L'uomo più solo del mondo.
Spandau fu una delle due sole organizzazioni delle Quattro Potenze che continuarono ad operare dopo la rottura del Consiglio di Controllo Alleato; l'altra era il Centro di Sicurezza Aerea di Berlino. Le quattro potenze occupanti di Berlino si alternavano nel controllo della prigione su base mensile, ognuno aveva la responsabilità per un totale di tre mesi all'anno.
La prigione fu demolita nel 1987, in gran parte per evitare che diventasse un santuario neonazista, dopo la morte del suo ultimo prigioniero rimasto, Rudolf Hess, che era stato l'unico occupante della prigione dopo il rilascio di Speer e von Schirach nel 1966. Il sito fu trasformato in un parcheggio e in un centro commerciale NAAFI, chiamato The Britannia Centre Spandau e soprannominato Hessco's dal nome di una catena di supermercati britannica chiamata "TESCO". Tutti i materiali della prigione demolita furono ridotti in polvere e scaricati nel Mare del Nord o sepolti nell'ex RAF Gatow.
Nel 2006 un supermercato Kaiser's, ALDI e un negozio di elettronica di consumo Media Markt hanno occupato il terreno della ex prigione. Alla fine del 2008, Media Markt ha lasciato il complesso commerciale principale.