Il Brunei, come Brunei Darussalam, è stato il primo ai giochi olimpici nel 1988, con un solo funzionario ma senza atleti. La nazione ha partecipato ai Giochi Olimpici estivi nel 1996, 2000 e 2004. Ogni volta è stata rappresentata da un solo atleta. Il Brunei non ha mai partecipato ai Giochi Olimpici Invernali. Non ha mai vinto una medaglia olimpica.
A partire dal 2010 il Brunei, insieme all'Arabia Saudita e al Qatar, era uno dei soli tre paesi a non aver mai inviato un'atleta donna ai Giochi Olimpici. Il Comitato Olimpico Internazionale nel 2010 ha annunciato che avrebbe "fatto pressione" su questi paesi per consentire la partecipazione delle donne.
Il Comitato Olimpico Nazionale del Brunei è stato formato nel 1984 e riconosciuto dal Comitato Olimpico Internazionale lo stesso anno.