Il castello di Carisbrooke è l'unico castello medievale rimasto sull'isola di Wight. Fu costruito su un sito romano. I lavori di terra del castello furono iniziati nel 1070. Il torrione fu costruito sul sito circa 70 anni dopo. Nessuno degli edifici domestici normanni è rimasto. La portineria con le sue torri a tamburo risale ai secoli XIV e XV.
Nel 1377 i francesi sbarcarono sull'isola ma il castello non fu attaccato.
Durante l'epoca elisabettiana la minaccia di un'invasione spagnola fu evitata quando l'Armada spagnola fu respinta in una battaglia vicina. Tuttavia, il castello fu notevolmente modificato per resistere alla nuova artiglieria. Furono costruite linee di difesa esterne che racchiudevano il vecchio castello. Le mura di cinta, i bastioni e i baluardi sono ancora oggi in buone condizioni.
Carlo I fu tenuto prigioniero al castello nel 1647. Un tentativo di fuga fallì quando rimase incastrato nelle sbarre.
Più tardi il castello fu la residenza occasionale del governatore dell'isola di Wight e divenne la casa della principessa Beatrice, figlia minore della regina Vittoria, quando era governatore.
