Gwynne ble med i Hereford Uniteds ungdomslag via Pershore College football academy ved Holme Lacy. Han satt som ubrukt innbytter i en rekke førstelagskamper i 2004/05-sesongen og startet i GLS Conference Cup mot Northwich.
Hans debut kom sesongen etter, da han kom inn som innbytter mot Stevenage Borough. I siste del av sesongen ble han sittende på innbytterbenken. Han var kaptein i en Herefordshire Senior Cup-kamp mot Kington.
Han signerte en ny kontrakt i juni 2006, men var den eneste spilleren som ikke spilte noen liga-, FA-cup- eller Ligacupkamper i løpet av 2006/07-sesongen. Den 18. august2007 gjorde han sin ligadebut, da han kom inn som innbytter i sluttminuttene i kampen mot Barnet. Da Lionel Ainsworth forlot Hereford, fikk Gwynne sjansen i startelleveren og spilte 16 kamper.
