Spillet er baseret i 1940-50'erne i den fiktive by Empire Bay, som er baseret på New York, Chicago, Los Angeles, San Francisco og Detroit. Der er 30-40 køretøjer i spillet (45 med DLC) og der er også autoriseret musik fra den æra.
Når man er interaktiv med objekterne i miljøet involveres der to handlingsknapper; en standard handling og en voldelig handling (for eksempel når man stjæler en bil, kan spilleren vælge mellem at dirke låsen op eller at smadre bilruden), afhængig i hvilken situation man er i. Som i det originale mafiaspil, er der inkluderet et kort. Checkpoint-systemet er forbedret fuldstændigt. Nye funktioner er inkluderet som et dække-system, som giver spilleren mulighed for at gemme sig bag objekter (som fx bag ved generatorer, vægge og store kasser) for at kunne skyde fjender, i stedet for blot at stille sig på hug bagved et objekt.
Det er blevet meddelt af 2k Czech, at spillets cutscener er lavet af spillets motor, i "real-time", end i pre-rendered cutscenes. For eksempel hvis spilleren kører i en bil og en cutscene begynder, så vil spilleren stadigvæk køre i den samme bil, og hvis bilen er skadet, vil bilen også være skadet i cutscenen.
Mafia II's handling er et barskt drama og fortæller om opstigningen af Vito Scaletta, søn af sicilienskeimmigranter i den fiktive bydel Empire Bay (baseret på New York). Som spillet skrider frem, slutter Vito sig til the Falcone crime family og bliver til en "made man" (soldato) sammen med sin bedste ven Joe Barbaro. Historien begynder med, at figuren Vito er vendt hjem fra 2. verdenskrig. Vito er soldat i den amerikanske hær for at undgå at sidde i fængsel for et fejlslået røveri. Vito genforenes med sin gode ven Joe Barbaro, og de to går hurtigt om bord i et live af kriminalitet. Deres kriminelle løbebane starter med et job for bilmekanikeren Mike Bruski, som kommer i en konflikt med Joe. Mike har ellers brug for en bestemt type bil, som han skal hakke for dele. Han er villig til at betale $400 for en politiet ikke følger efter. Snart efter ender Vito, Joe og Henry Tomasino (allerede en made man) i en situation hvor de kæmper med, for, imod og omkring tre mafiagrupperinger: Falcone, Vinci og Clemente familierne.
Spillet starter med at vise en regnvejrsnat i Empire Bay, hvor Vito Scaletta introducerer sig selv og fortæller sin baggrundshistorie, om at være født i en fattig siciliensk familie. Vito blev født San Martino, Sicilien i 1925 i en meget fattig familie. Et par år senere besluttede faderen, at familien skulle flytte til Amerika, hvor de kunne starte et nyt liv. Selv i deres nye hjem i Empire Bay kunne de, trist nok, ikke flygte fra fattigdommen. Mens Vito gik i skole, mødte han Joe Barbaro. Vito udfordrede Joe til et slagsmål, Joe tog en glans af Vito. De blev hurtigt venner. Da Joe var et år ældre end Vito, beskyttede han ham imod bøller, fordi Joe selv var en bølle. De to blev meget nære venner og har altid passet på hinanden. Da Vito er 18 år, forsøger ham og Joe at røve en juvelbutik, samtidig opdager en politibetjent dem midt i røveriet. De forsøger begge to at løbe væk, men mens Joe når at flygte, bliver Vito anholdt. Politiet finder ud af, at han er en siciliensk immigrant, med en forståelse af italiensk, så de giver ham mulighederne: sidde i fængsel eller gøre tjeneste i militæret i "Husky"-operationen. Han beslutter sig for ikke at tjene sin fængselsstraf, og vælger i stedet hæren. Han blev trænet i the 504th Parachute Infantry Regiment og var til tjeneste i at gøre Sicilien liberal.
Den første mission i spillet finder sted, hvor Vito og hans trup forsøger på at redde en mand fra fascister i Italien. Efter at have elimineret et flertal af fjendtlige soldater, vidner Vito og de resterende overlevende eskadroner en gammel mafiagodfather, der kører i en tank, beder de fjendtlige soldater om at give op. Bemærkelsesværdigt nok, overgav mændene sig, det viste deres enorme frygt og respekt for den sicilienske mafia. Efter den sicilienske befrielse på et tidspunkt mellem 1944- 1945, blev Vito skudt i kamp. Efter at have tilbragt et par måneder i sygeafdelingen, blev han sendt hjem på orlov i en måned. Straks efter hans ankomst, ser Vito Joe som sørger for nogle forfalskede hjemsendelses papir, fra Giuseppes landhandels butik. Med disse papir, behøvede han ikke vende tilbage til krigen i Italien. 2. verdenskrig sluttede tre månedersenere. Da Vito kommer hjem finder han hurtigt ud af at hans far har efterladt en gæld på $2000 af mafiaen. Dette finder Vito ud af ved at hans søster bliver chikaneret af en bølle udsendt af en lånehaj, som Vitos far lånte penge af. Vito banker bøllen og finder ud af, hvad der skete de sidste to år han var væk. Hvorefter Vito indser at han er nødt til at hjælpe sin familie. Vito begynder hurtigt at lede efter et job og går over til Joe. Joe tager Vito med ud for at hente Vitos hjemsendelsespapir, hans egen bil og en pålidelig kilde til en indkomst. Det første job han finder er hos Mike Bruski, en lossepladsejer, der sælger stjålne biler og ved siden af dette, fixer han biler til kriminelle. Vitos mor beder ham om at få et godt job. Hun foreslår at Vito får et job hos Federico "Fat Derek" Pappalardo, en fagforeningsboss og Vinci Familiens capo. Når Vito ankommer for at få et job, sætter Derek Vito til at læsse kasser på en lastbil. Vito giver op og snakker skarpt til Dereks højre hånd, Stephen "Steve" Coyne. Vito proklamerede at han kunne tjene flere penge ved at arbejde for "Barbaro Incorporated". Steve tager Vito med tilbage til Derek, hvor af han svarer, enhver der arbejder med Joe ville ikke spilde tiden med at flytte kasser. Derek er varsom med accepterer denne påstand, så han trækker en pistol, hvis nu det var at Joe ikke tog telefonen eller at Joe siger at han ikke kender Vito. Joe bekræfter Vitos historie, og Dereks mistanke bliver lagt på køl. Derek spørger så Vito om han har lyst til at samle penge ind for "the barber." Vito får indsamlet alle kajarbejdernes penge og vender så tilbage til Derek. Efter at Vito har gjort jobbet for Derek, fortæller han Vito at Joe har ringet og sagt at Vito skulle komme over på Freddy's Bar. Vito ankommer og finder så ud af at Joe har fundet en forbindelse til mafiaen. Deres forbindelse er Henry Tomasino, en Clemente soldat. Det første job Vito får af ham er at han skal snige sig ind i the Office of Price Administration (pris administrations kontoret) og få fat i en stor sum af sjældne tankstationsfrimærke rationer. Vito får at vide han skal gå over og snakke med en dame kaldt Maria Agnello, da hun kan få Vito derind. Efter at have fået dem, tager Vito tilbage til Henry for en evaluering. Henry opdager at frimærkerne udløber ved midnat, så hvis Vito får dem genstemplet inden midnat, får han en større belønning. Den næste dag er Vito træt og sur på Joe og Henry, for at holde ham vågen. Henrys næste job til de to er at, Vito og Joe skal ind og stjæle nogle diamanter fra et indkøbscenter inde midt i byen. Alt går som smurt ifølge planen, lige indtil en gruppe af irske kriminelle kendt som the O'Neill Gang, ledet af Brian O'Neil, smadrer deres bil ind i butikken. Efter en lille frem og tilbage konversation, ankommer politiet, Joe og Vito flygter fra indkøbscenteret, og tager hjem senere den aften. Vito tager tilbage til Freddy's en uge senere for at gøre endnu et job. Henry skal nu dræbe en mand kaldet Sidney Pen også kendt som The Fat Man, som ikke har betalt Don Alberto Clemente hans penge. For at gøre dette, må Vito få fat i en MG42, som han får fra Harry, en lokal våbenhandler. Vito tager den med hen til lejligheden han, Joe og Henry skal holde øje med the Fat Mans position. Dræber Vito mange af the Fat Mans entourager, men han flygter indenfor. Efter at have dræbt de fleste af the Fat Mans vagter, cirkler Vito, Joe og Henry op omkring ham. Henry bliver skudt mens han leverer beskeden om at hilse fra Clemente, som får Joe og Vito til at dræbe ham. Vito får gruppen med tilbage til El Greco som er en læge (der bliver også lavet et par jokes om ham, om at forveksle ham med maleren), for at få behandlet Henry. Da Henry betaler Vito $2.000 for hans hjælp på jobbet, skynder Vito sig hjem for at give pengene til hans søster Francesca, som hun er taknemmelig for.
Som Vito forlader Joes lejlighed dagen efter, bliver han anholt for at have stjålet rationen af tankstations frimærker fra the Office of Price Administration. En af tankstationarbejderne havde sladret om ham, og givet politiet adgang til hans mor og søster, hvor de uvidende gav politiet hans adresse. Vito får en advokat til hjælp af Henry, men viser sig ikke at være til meget hjælp. Vitos retssag varer omkring tre måneder, i maj måned får han sin dom på 10 år ved Hartmann Federal Penitentiary. Vito bliver meget deprimeret fordi han bliver banket og behandlet skidt. efter tre dage, hører Vito fra Joe, at en mand kaldet Leone "Leo" Galante, en Vinci family Consigliere, kan gøre så Vitos fængselsophold bliver lettere og måske sørge for at han kommer ud tidligere. Han finder Galante, men Vito bliver fundet af O'Neill, som var arresteret efter at Vito og Joe succesfuldt flygtede fra indkøbscentret. Vito og O'Neill kommer op at slås, men O'Neill har helt klart en større fordel. Garden stopper kampen og sætter Vito og O'Neill i Hullet. Vito kommer ud tidligere takket være Galante, som gerne vil have at han er endnu en fighter i hans repertoire. I starten skulle Vito være som en boxepude for Pepe Costa, men viser sig så for at være en god kæmper. Galante tager meget af sin tid og bruger den på at træne Vito og Pepe. Vitos første kamp kommer efter at han har kæmper mod en "fængselstriade". Efter Vitos kamp mod en "spook" i vasketøjsrummet, besøger Francesca ham for at fortælle ham, at hun skal giftes, men siger også at deres mor er syg, så Vito fortæller hende at hun skal tage de penge han har tilbage som en bryllupsgave og finde den bedste doktor til deres mor. I omkring en uge laver Vito sine daglige pligter. Han skal rengøre urinaler i badeværelset, men vagterne gør det svært for ham at døje jobbet. Han er så beordret til at tage et bad. Vito bliver forstyrret af tre mænd der kommer for at voldtage ham. En hopper på ham, men han får ordnet to af voldtægtsmændene, før vagterne kommer tilbage, han bliver så banket af vagterne og sendt til Hullet igen. Denne gang får Vito dårlige nyheder igennem posten, at hans mor døde den dag Francesca kom og besøgte ham. Vito bliver løsladt i kort tid om dagen (hans hår er nu vokset til hans normale frisure fra en maskinklipning), og finder ud af, at imens han var i Hullet, havde den irske bande hoppet på Pepe, og at han nu ikke kan kæmpe. Pepe beder Vito om at finde O'Neil og at han skal"brække nogle knogler" på ham. Vito finder ham i træningsrummet og forbereder sig på at kæmpe mod ham. Vito har nu fordelene mod O'Neill, han kommer op igen for at kæmpe videre mod Vito. Vito bliver så overrasket over at han selv er stærkere end han troede. O'Neill trækker så et barberblad og prøver så på at bruge den mod Vito, men Vito undgår den flere gange. Vito afvæbner O'Neill og skærer så hans hals over og stikker kniven i hans nakke. På dette tidspunkt tilbringer Vito resten af sin dom i Galantes fængselscelle, imens lærer Galante ham hvordan tingene fungerer imellem Empire Bays Mafia, de tre overordnede familier, og spørger ham så hvad han har tænkt sig at gøre så snart han kommer ud af fængslet. Vito blev løsladt i april 1951, tidligere end regnet med.
Imens Vito var i fængsel for the Falcone crime family. Vito, der nu skal tilpasse sig til 1950'ernes kultur, tager med Joe og deres nye ven Eddie Scarpa (som er en underboss i the Falcone family), tager ud for at for at fejre Vitos løsladelse i the Garden of Eden (et bordel). På vejen hjem kommer Eddie i tanker om at han skulle have skaffet sig af med en krop, af en død undercoverFBIagent, Frankie Potts. Festen var overhovedet ikke nogen succes men Vito begynder hurtigt at komme ind i rytmen af hvordan tingene fungerer, og med Joes hjælp og Eddies tilbud, begynder Vito hurtigt at arbejde for the Falcone family, hvor han sælger stjålne cigaretter og ender i kamp med the Greasers (rockere). En af Vitos største opgaver som en associate for familien er likvideringen af Luca Gurino, en capo for Clemente-familien, hovedårsagen til dette er at Vito skal finde ud af hvad der er sket med Harvey “Beans” Epstein, Antonio “Tony Balls” Balsamo og Frankie the Mick. Han skynder sig over til Little Italy hvor han følger Luca fra Freddy's Bar til the Clemente Slagterhus. Vito sniger sig ind gennem kloaksystemet og prøver på at finde kødhakker rummet. Han finder Beans og Balls (men Frankie the Mick ligger død på gulvet formodentlig dræbt af Lucas mænd), og får dem befriet. Vito og balls for kæmpet sig igennem Lucas soldater og Balls for ham banket ned. Vito forlader slagterhuset før Balls og Beans dræber Luca. Hurtigt efter får Vito og Joe tiltro og respekt af Don Carlo Falcone, og med lidt hjælp af et forslag fra Galante, bliver de made og er bragt ind i Falcone-familien. Efter to uger eller der omkring beordrer Eddie og Don Falcone Vito og Joe (nu som soldater) til at lave en bevægelse på den allerede krænkede Clemente-familie, ved at likvidere selve Don Clemente. Med lidt hjælp fra Marty som chauffør af flugtbilen, tager Vito og Joe hen til the Empire Arms Hotel, hvor de skal placerer en bombe i konferencerummet hvor Clemente holder et familie møde. Planen giver bagslag da Clemente var på toilet da den uplanlagte eksplosion fandt sted. Vito og Joe skyder deres vej gennem hotellet for at dræbe Don Clemente. De kommer ud til parkeringspladsen hvor de finder en død Marty, der blev skudt og dræbt af Clemente og hans mænd, i et forsøg på at stoppe dem. Vito og Joe jagter Don Clementes bil igennem byen hvor de skyder på den så meget at den bliver destrueret. Joe går så over til bilen og tømmer sin Thompson 1928 i den del af bilen hvor passagererne sidder, han dræber Clemente lige på stedet.
Kapitler
Alle kapitler/dele i handlingen.
Kapitel 1: The Old Country (1943)
Kapitel 2: Home Sweet Home (8.-9. februar 1945)
Kapitel 3: Enemy of the State (10. februar 1945)
Kapitel 4: Murphy's Law (11. februar 1945)
Kapitel 5: The Buzzsaw (20. februar 1945)
Kapitel 6: Time Well Spent (26. februar 1945-juni 1945)
Kapitel 7: In Loving Memory of Francesco Potenza (10. april 1951)
Kapitel 8: The Wild Ones (11. april 1951)
Kapitel 9: Balls and Beans (6. maj 1951)
Kapitel 10: Room Service (15. juni 1951)
Kapitel 11: A Friend of Ours (27. juli 1951)
Kapitel 12: Sea Gift (22. september 1951)
Kapitel 13: Exit the Dragon (24. september 1951)
Kapitel 14: Stairway to Heaven (25. september 1951)
Kapitel 15: Per Aspera Ad Astra (26. september 1951)
