Nielsen var aktiv på landsholdet i perioden 1910 til 1925. Han nåede at spille 38 landskampe og score 52 mål, hvilket placerer ham som nummer 1 på topscorerlisten for det danske landshold. Ved hans debut i 1910 var han med 18 år og 131 dage den hidtil yngste landsholdspiller. Poul Nielsen var med på det danske hold som vandt sølvmedaljer ved OL i Stockholm 1912. Danmark blev i finalen besejret af Storbritannien med 2-4 uden Poul Nielsen på holdet. Han spillede dog i en af kampene, nemlig den, der endte med en 4-1 sejr over Holland, og hvor han scorede sit første landsholdsmål.
Poul Nielsen spillede i hele sin karriere for KB. Han begyndte på førsteholdet som 16-årig i 1907 og sluttede som 36-årig i 1927, og i alt blev det til 201 kampe. Han var med til at vinde det danske mesterskab med KB i 1913, 1914, 1917, 1918, 1922 og 1925.
Poul Nielsen fik tilnavnet "Tist", fordi han som dreng var så dygtig til at komme gratis til fodbold – han var gra-tist[1]!