Dopo essersi diplomato nel 1944, Davis si trasferì a New York City per studiare alla Juilliard School of Music.
Quando arrivò a New York, passò la maggior parte del suo tempo cercando di entrare in contatto con Charlie Parker, anche se alcune persone gli avevano detto di non farlo. Quando trovò Parker, Davis fu coinvolto nelle jam session che si svolgevano ogni sera in due dei night club di Harlem, il Minton's Playhouse e il Monroe's. Altri musicisti famosi come Thelonious Monk e Kenny Clarke partecipavano a queste sessioni.
Davis lasciò presto la Juilliard, avendo prima chiesto il permesso a suo padre. Non gli piacevano le lezioni alla Juilliard perché pensava che si concentrassero troppo sulla musica classica europea e "bianca". Disse anche che le sue lezioni alla Juilliard lo aiutarono a capire la teoria musicale.
Iniziò a suonare professionalmente in molti gruppi jazz, esibendosi in diversi club della 52ª strada con Coleman Hawkins e Eddie "Lockjaw" Davis. Nel 1945 entrò per la prima volta in uno studio di registrazione, come membro del gruppo di Herbie Fields. Nel 1946 fece la sua prima registrazione come bandleader, con un gruppo chiamato "Miles Davis Sextet plus Earl Coleman and Ann Hathaway". Non fece molte registrazioni come bandleader in questo periodo.
Intorno al 1945, Dizzy Gillespie smise di lavorare con Parker e Parker assunse Davis come sostituto di Gillespie nel suo quintetto. Nel gruppo c'erano anche Max Roach alla batteria, Al Haig (sostituito in seguito da Sir Charles Thompson e Duke Jordan) al piano, e Curley Russell (sostituito in seguito da Tommy Potter e Leonard Gaskin) come bassista.
Con il quintetto di Parker, Davis registrò diverse volte. Fece un assolo nella canzone simbolo di Parker, "Now's the Time". Questo assolo portò all'inizio di uno stile di jazz chiamato "cool jazz". Il gruppo fece anche un tour negli Stati Uniti. Durante un tour a Los Angeles, Parker ebbe un esaurimento nervoso e andò al Camarillo State Mental Hospital per diversi mesi. Davis si trovò bloccato a Los Angeles. Rimase con il musicista jazz Charles Mingus e suonò con lui. Più tardi ottenne un lavoro con Billy Eckstine in un tour in California che lo riportò a New York. Nel 1948, Parker tornò da Los Angeles, e Davis si unì nuovamente al suo gruppo.
I musicisti del gruppo di Parker non andavano molto d'accordo. Il comportamento di Parker era imprevedibile a causa della sua dipendenza dalla droga. Davis e Roach non erano d'accordo che Parker assumesse Duke Jordan come pianista e avrebbero preferito Bud Powell). Nel dicembre 1948, Davis lasciò il gruppo dopo una discussione con Parker al Royal Roost. Cominciò a lavorare in modo più indipendente con diversi gruppi a New York.