Stafford syntyi MarylandinBaltimoressa ja sai pappisvihkimyksensä 15. joulukuuta1957. Hän toimi Memphisin piispana vuosina 1982–1986 ja Denverin arkkipiispana 1986–1996. Hän oli Paavillisen maallikkojen neuvoston puheenjohtajana vuosina 1996–2003. Vuonna 2003 hänestä tuli Paenitentiaria Apostolica -tribunaalin johtaja.
Äänestysikäisenä kardinaalina Stafford osallistui vuoden 2005 konklaaviin, jossa tuli valituksi paavi Benedictus XVI.
