Ci sono molte leggende e miti sui cavalli arabi. Una leggenda dice che il profeta Maometto selezionò le sue cinque migliori cavalle (cavalli femmina), chiamate Al Khamsa ("le cinque") per essere la base della razza araba. Un'altra leggenda dice che la regina di Saba diede una cavalla araba al re Salomone, ed è così che la razza ebbe inizio. Un'altra storia ancora dice che Allah creò il cavallo arabo dal vento del sud, dicendo: "Io ti creo, o arabo... ti do il volo senza ali".
Nella storia reale, gli arabi sono una delle più antiche razze di cavalli sviluppate dall'uomo nel mondo. Immagini di cavalli "proto-arabi" che assomigliavano molto ai moderni cavalli arabi sono state dipinte sulle rocce della penisola araba già nel 2.500 a.C. Gli antenati dei beduini probabilmente addomesticarono i cavalli non molto tempo dopo aver addomesticato il cammello. Uno scheletro di cavallo è stato dissotterrato nella penisola del Sinai, datato al 1700 a.C., ed è considerato la prima prova del cavallo nell'antico Egitto. Probabilmente fu portato dagli invasori Hyksos. Questo cavallo aveva una testa a forma di cuneo, occhio grande e muso piccolo, proprio come il cavallo arabo di oggi.
Nel deserto, gli uomini erano l'unica fonte di cibo e acqua per il cavallo arabo. Dove non c'era pascolo, i beduini nutrivano i loro cavalli con datteri, un frutto della palma da dattero, e latte di cammello. Gli arabi dovevano vivere con pochissimo cibo e sopravvivere in un clima secco che era molto caldo di giorno ma molto freddo di notte. I cavalli deboli non vivevano, e i cavalli che sopravvivevano al deserto dovevano anche sopravvivere ad essere cavalcati per la guerra. Pertanto, il cavallo arabo divenne molto resistente e capace di vivere in un mondo duro.