Miamiban született nagyon szegény körülmények között. Apját sohasem látta. Édesanyja halálakor még csak tíz éves volt. A nagymamája elvitte Philadelphiába, ahol Walter nagybátyjától kapott egy dobfelszerelést. A nagybátyja a philadelphiai dzsessz-világgal is megismertette. Itt példaképévé Philly Joe Jones dobos vált.
Az 1950-es évek elején kezdték elismerni, mint érzékeny és keményen big band dobost. Dizzy Gillespie különösen kedvelte őt, és egyszer megjegyezte, hogy „ha egyszer Rocker beállít valamit, bármi legyen is az, elmehetsz Párizsba, visszajöhetsz, és az ugyanott van.”
