Hans forældre var garvermester Knud Petersen (1862-1906) og Karen Kristine Nissen (1873-99). Da han i en alder af tre år blev forældreløs, overtog hans mormor i Herning opdragelsen af Nis og hans to søskende, som kom til at vokse op i et hjem præget af den missionske tro.
Han fik i 1914 realeksamen med høje karakterer og fik samme år plads som elev på Løveapoteket i Nakskov. Få måneder før han skulle til den afsluttende eksamen i København, afbrød han uddannelsen, sandsynligvis på grund af et begyndende alkoholmisbrug.
Han blev 1919 ansat på Holbæk Amts Venstreblad som journalist, men fyret i 1920 efter en længere druktur og fik i stedet arbejde som journalist ved et fagblad.[2] I 1922 modtog han atter en fyreseddel og arbejdede derpå som løsarbejder, men var ikke fysisk stærk nok til at klare det hårde arbejde. Han begyndte at vagabondere og kom 1922 på Mændenes Hjem i København.
Den hårde tilværelse tærede på hans helbred, og i 1926 opgav han livet på landevejene og fik et værelse hos søsteren Emma Pilegaard i Viborg, hvor han også fik fast arbejde på en skofabrik. Med hjælp fra søsteren og broderen Carl kom han til hægterne igen. Hans vagabondtilværelse gav ham inspiration til bøgerne "Vagabonden med det milde åsyn" og "Natsamaritanen".
Hans første digtsamlingNattens Pibere udkom i 1926, og i de følgende år skrev Nis Petersen sin roman Sandalmagernes gade, der foregår i det gamle Rom. Efter at have fuldført manuskriptet til Sandalmagernes gade havde han ikke tålmodighed til at vente på, at den blev antaget af et forlag og tog i sommeren 1931 ophold i Tvøroyri på Færøerne. Efter romanens udgivelse i december samme år og enestående succes tog han som nybagt berømthed i januar 1932 tilbage til København.
1934 skrev han romanen Spildt mælk fra den irske borgerkrig i 1922. Romanen foregår overvejende i Waterford, hvor Nis Petersen boede 1932-1933 sammen med sin kone, skuespillerinden Ellen Malberg. Ægteskabet var relativt lykkeligt, men varede kun fra 1932 til 1936.
I 1936 kom han på afvænning for sit alkoholmisbrug i Hultafors i Sverige og begyndte et mindre selvdestruktivt liv. I Sverige skrev han novellen "Miraklet i Kósá" og digtet "Færinger-frænder", begge inspireret af opholdet i Tvøroyri.
Den 28. januar 1938 blev Nis Petersen gift med Annalise Staggemeier og flyttede til landsbyen Laven mellem Ry og Silkeborg, hvor parret boede, til Nis Petersens døde af kræft i 1943.
På husmuren ved barndomshjemmet i Nygade 14 i Herning er der opsat en mindetavle med påskriften "Rigere barndom end min har ingen haft. Nis Petersen". På husmuren i Store Sct. Mikkelsgade nr. 10 i Viborg er der også opsat en mindetavle for Nis Petersen, som boede her fra 1926 til 1929, hvor han begyndte at skrive romanen Sandalmagernes gade.
I Laven, over for det sted, hvor han boede, er der rejst en buste. Bag på stenen er indhugget teksten: "Det sker vel, at sangeren segner. Det hænder, han glemmer sin ed. Des klarere lyser mindet om den, der usvigelig red."
Der er udgivet flere cd'er med forfatterens tekster, komponeret af H.W. Gade og indsunget af Gitte Lund, H.W Gade og Arne Elkrog.
I 2006 blev digtene "Forlad os vor skyld" og "Jeg samler på de små børns smil" optaget i Højskolesangbogen.