Gli scritti canonici del Nuovo Testamento, così come altre fonti scritte della Chiesa primitiva, forniscono alcune informazioni sulla vita di San Giacomo e sul suo ruolo nella Chiesa primitiva. I Sinottici menzionano il suo nome, ma nient'altro su di lui, mentre il Vangelo di Giovanni e i primi capitoli degli Atti degli Apostoli non menzionano nemmeno Giacomo.
Gli Atti degli Apostoli, nei capitoli successivi, forniscono la prova che Giacomo era una figura importante nella comunità cristiana di Gerusalemme. Quando Pietro, sfuggito miracolosamente alla prigione, deve fuggire da Gerusalemme, chiede che Giacomo sia informato (12:17). Quando i cristiani di Antiochia sono preoccupati se i cristiani gentili devono essere circoncisi per essere salvati, e mandano Paolo e Barnaba a conferire con la chiesa di Gerusalemme, Giacomo ha un ruolo di primo piano nella formulazione della decisione del consiglio (15:13ff). Infatti, dopo che Pietro e Paolo hanno esposto il loro caso, è Giacomo che finalmente consegna quello che chiama il suo "giudizio" - il senso originale è vicino a "la mia sentenza" - e dopo, tutti lo accettano. Giacomo, in altre parole, è mostrato a capo del gruppo di Gerusalemme, il che è in conflitto con le successive rivendicazioni del primato di Pietro. E quando Paolo arriva a Gerusalemme per consegnare il denaro che ha raccolto per i fedeli lì, è a Giacomo che parla, e che insiste che Paolo si purifichi ritualmente al Tempio di Erode per provare la sua fede e smentire le voci di insegnare la ribellione contro la Torah (21:18ff) (un'accusa di antinomianismo).
Paolo descrive ulteriormente Giacomo come una delle persone a cui il Cristo risorto si è mostrato (1 Corinzi 15:3-8); poi più avanti in 1 Corinzi, menziona Giacomo in un modo che suggerisce che Giacomo era stato sposato (9:5); e in Galati, Paolo elenca Giacomo con Cefa (meglio conosciuto come Pietro) e Giovanni, come le tre "colonne" della Chiesa, e che serviranno i "circoncisi" (in generale ebrei e proseliti ebrei) a Gerusalemme, mentre Paolo e i suoi compagni serviranno i "non circoncisi" (in generale gentili). (2:9, 2:12). Questi termini (circoncisi/non circoncisi) sono generalmente interpretati per significare Giudei e Greci, che erano predominanti, tuttavia è una semplificazione eccessiva in quanto la provincia dell'Iudaea del I secolo aveva anche alcuni Giudei che non circoncidevano più, e alcuni Greci (chiamati Proseliti o Giudaizzanti) e altri come Egiziani, Etiopi e Arabi che lo facevano.
