Jest wychowankiem klubu GSC Moers. Po kilku latach występów w Krefeld Pinguine w lidze DEL, w drafcie NHL z 2001 został wybrany przez San Jose Sharks z numerem 106 (z numerem 107 został wybrany jego rodak, Dimitri Pätzold, także przez klub SJS). W 2003 wyjechał do USA. Tam początkowo grał w lidze AHL, a od 2005 na stałe występował w San Jose w rozgrywkach NHL. Od 2009 przez dwa lata grał w kanadyjskim Vancouver Canucks. Od czerwca 2011 zawodnik Buffalo Sabres[1]. Podpisał wówczas 10-letni kontrakt z klubem[2]. Od września 2012 do stycznia 2013 tymczasowo na okres lokautu w sezonie NHL (2012/2013) związany kontraktem z macierzystym klubem z Krefeld[3]. W czerwcu 2014 władze klubu z Buffalo wykupiły jego kontrakt i Ehrhoff stał się wolnym zawodnikiem[4]. Od lipca 2014 zawodnik Pittsburgh Penguins[5]. Od sierpnia 2015 zawodnik Los Angeles Kings[6]. Od końca lutego 2016 zawodnik Chicago Blackhawks[7]. Od końca października 2016 zawodnik Kölner Haie[8]. Po sezonie DEL (2017/2018) zakończył karierę[9].