Figli di immigrati ebrei russi, Robert e Richard Sherman iniziarono a scrivere canzoni insieme nel 1951 su sfida del loro padre, il cantautore di Tin Pan Alley Al Sherman. I fratelli scrissero insieme e con diversi partner per tutto il resto del decennio.
Nel 1958 Robert fondò la casa editrice musicale Music World Corporation. In seguito ebbe un rapporto con il braccio editoriale affiliato alla BMI della Disney, Wonderland Music Company. Quello stesso anno, gli Sherman Brothers ebbero il loro primo successo nella top-ten con "Tall Paul", cantata da Judy Harriet su etichetta Surf Records. Fu cantata anche dalla topolino Annette Funicello. Il successo di questa canzone ha ottenuto l'attenzione di Walt Disney. Egli assunse quindi i fratelli Sherman come autori di canzoni per i Walt Disney Studios. La prima canzone che scrissero su incarico personale di Walt Disney fu "Strummin' Song" nel 1961. Fu usata nel film per la televisione di Annette Funicello intitolato The Horsemasters.
Mentre erano alla Disney, i fratelli Sherman scrissero più colonne sonore di film di qualsiasi altro autore di canzoni nella storia del cinema. Scrissero anche quella che forse è la loro canzone più conosciuta, "It's a small world (after all)" per la Fiera Mondiale di New York del 1964. Da allora, alcuni hanno affermato che questa è diventata la canzone più tradotta ed eseguita sulla Terra, anche se questo è in gran parte dovuto al fatto che viene suonata al parco a tema Disney "it's a small world" attrazioni con lo stesso nome.
Nel 1965 gli Sherman Brothers vinsero due premi Oscar per Mary Poppins, che include le canzoni "Feed The Birds", "Supercalifragilisticexpialidocious" e il premio Oscar "Chim Chim Cher-ee". Dalla prima proiezione di Mary Poppins, gli Shermans hanno ottenuto nove nomination agli Oscar, due Grammy Awards, quattro nomination ai Grammy Awards e 23 album certificati oro e platino.
Robert e Richard Sherman hanno lavorato direttamente per Walt Disney, completando le partiture per i film musicali live-action The Happiest Millionaire e The One and Only, Genuine, Original Family Band fino alla morte di Disney nel 1966. Da quando hanno lasciato la compagnia, i fratelli hanno lavorato freelance come autori di canzoni su colonne sonore di film, spettacoli televisivi, mostre in parchi a tema e musical da palcoscenico.
Il loro primo incarico non-Disney arrivò con la produzione cinematografica di Albert R. Broccoli Chitty Chitty Bang Bang per la United Artists nel 1968. Ha fatto ottenere ai fratelli la loro terza nomination all'Oscar per la migliore canzone originale per la sua canzone titolare particolarmente memorabile.
Nel 1970, gli Sherman tornarono alla Disney per un breve periodo dove completarono il lavoro su Gli Aristogatti e Bedknobs and Broomsticks. Quest'ultimo film ha portato ai fratelli la loro quarta e quinta nomination agli Oscar. Il 1972 vide l'uscita di Snoopy Come Home, per il quale i fratelli ricevettero una nomination ai Grammy.
Nel 1973 i fratelli Sherman hanno anche fatto la storia diventando gli unici americani a vincere il primo premio al Festival di Mosca per Tom Sawyer, di cui hanno anche scritto la sceneggiatura.
Nel 1976 "The Slipper and the Rose" fu scelto per essere lo spettacolo dell'anno del Royal Command. La performance fu presenziata dalla Regina Elisabetta, la Regina Madre. Una moderna versione musicale della classica storia di Cenerentola, "Slipper", presentava anche canzoni, colonna sonora e sceneggiatura dei fratelli Sherman. Due ulteriori nomination agli Oscar furono ottenute dai fratelli per il film. Quello stesso anno i fratelli Sherman ottennero la loro stella sulla "Walk of Fame" di Hollywood proprio di fronte al Grauman's Chinese Theater.
I molti altri crediti cinematografici Disney e non Disney ai primi posti del botteghino includono Il libro della giungla (1967), Gli aristogatti (1970), Trappola per genitori (1961), La tela diCarlotta (1973), Huckleberry Finn (1974), Le molte avventure di Winnie the Pooh (1977), Snoopy, torna a casa (1972), Pomi di letto e manici di scopa (1971) e Little Nemo: Adventures in Slumberland (1989).
Al di fuori dei film, il loro successo, nominato ai Tony Award, Over Here! (1974) è stato il musical originale di Broadway di maggior incasso di quell'anno. Gli Sherman Brothers hanno anche scritto numerose canzoni di successo, tra cui "You're Sixteen", che ha raggiunto la top 10 della Billboard Hot 100 due volte: prima con Johnny Burnette nel 1960 e poi al #1 con Ringo Starr più di tredici anni dopo. Altri successi da top ten includono "Pineapple Princess", "Let's Get Together" e altri.
Nel 2000 gli Sherman Brothers hanno scritto la colonna sonora del film Disney The Tigger Movie. Questo film ha segnato il primo film importante dei fratelli per la Disney in oltre 28 anni.
Nel 2003, quattro musical dei fratelli Sherman si sono classificati nella Top 10 dei film per bambini preferiti di tutti i tempi in un sondaggio nazionale britannico riportato dalla BBC. In particolare, Chitty Chitty Bang Bang 1968 ha raggiunto il primo posto nella lista.
Negli anni successivi, con il trasferimento di Robert a Londra, i fratelli scrissero molte nuove canzoni per le presentazioni musicali teatrali di Chitty Chitty Bang Bang e Mary Poppins, prodotte da Disney e Cameron Mackintosh.
Per il loro contributo all'industria cinematografica, i fratelli Sherman hanno una stella sulla Hollywood Walk of Fame al 6918 di Hollywood Blvd. Sono stati inseriti nella Songwriters Hall of Fame il 9 giugno 2005. Il 16 novembre 2006, Mary Poppins ha debuttato al New Amsterdam Theatre di Broadway.
Il 17 novembre 2008 i fratelli Sherman hanno ricevuto la National Medal of Arts che è la più alta onorificenza data agli artisti dal governo degli Stati Uniti. Il premio è stato consegnato dal presidente degli Stati Uniti George W. Bush in una cerimonia nella East Room della Casa Bianca.
Il 22 maggio 2009, The Boys: the Sherman Brothers' Story, un film sulla coppia, è stato proiettato nelle sale. Il film è stato diretto e prodotto dai loro figli, Gregory V. Sherman e Jeff Sherman. È stato distribuito dalla Walt Disney Pictures.
Nell'ottobre 2009, la Disney ha pubblicato un compendio di 59 tracce e due CD del loro lavoro per lo studio che abbraccia quarantadue anni. Il CD è intitolato "The Sherman Brothers Songbook".
L'11 marzo 2010 gli Sherman Brothers sono stati presentati con una finestra su Mainstreet Disneyland ad Anaheim, California, in onore del loro contributo ai parchi a tema Disney. Il 17 maggio 2010, i fratelli Sherman hanno ricevuto il "Career Achievement Award" al The Theatre Museum's 2010 Awards Gala a New York City.