Agrippa oli vanem vend Lucius Vipsanius Agrippa ja õde Vipsania Polla. Nende suguvõsa ja perekond ei olnud varem Rooma avalikus elus silmapaistvad.
Agrippa oli umbes samaealine Octaviusega, hilisema keisri Augustusega. Nad omandasid koos hariduse ning neist said lähedased sõbrad. Agrippa toetas Octaviust teel võimule ja täitis hiljem tähtsaid riiklikke ülesandeid.
Ta osales Julius Caesari juhitud sõjakäikudes. Caesar hindas teda kõrgelt ning saatis ta 45. aastal eKr koos Octaviusega Illüüriasse õppima. Nelja kuu pärast jõudis nendeni teade Caesari surmast. Caesar oli Octaviuse nimetanud oma järglaseks.
21 eKr abiellus Agrippa Augustuse tütre Juliaga ning sai keisri tegelikuks kaasvalitsejaks, Agrippat peeti tema võimalikuks järglaseks.
Ta kasutas oma varandust riigi huvides: laskis ehitada Rooma veejuhtme, termid ja Panteoni ning korraldas Rooma riigi mõõtmise, mille põhjal valmistati kaart.
Agrippa suri 51-aastaselt. Augustus korraldas suurejoonelised matused ning lasi sõbra säilmed paigutada omaenda mausoleumi.
