Den 21. januar 2016 blev han solgt til Viborg FF. Oprindeligt var det meningen at han først skulle skifte i sommeren 2016 ved kontraktudløb i Esbjerg fB,[2][3] men Viborg FF valgte at købe ham allerede inden, så han kunne blive klar til forårets turneringskampe.[4][5] Inden skiftet til Viborg FF havde han spillet hele sin ungdoms- og seniorkarriere i Esbjerg fB.[2] Han skrev under på en treårig kontrakt med Viborg FF.[2]
Den 7. juni 2019 fik Vestergaard sammen med tre andre spillere at vide, at deres kontrakter ikke ville blive forlænget.[6]
Den 30. august 2019 besluttede han sig for at stoppe karrieren efter talrige skader.[7]
