Né à Helmond, dans le Brabant-Septentrional, Gillhaus a commencé à jouer professionnellement pour le FC Den Bosch, faisant ses débuts en Eredivisie en 1983-84 (12 matches, trois buts), puis inscrivant 33 buts en championnat au cours de ses deux dernières saisons combinées.
Au cours de l'été 1987, l'A.C. Milan a acheté Ruud Gullit au PSV Eindhoven pour un montant record de 6 millions de livres sterling, et cet argent a rapidement été utilisé pour acquérir Gillhaus, Wim Kieft et Søren Lerby. Le premier inscrivait 15 buts en seulement 26 matches lors de sa première saison, aidant le club de Philips à remporter un triplé historique - il jouait 105 minutes lors de la finale de la Coupe d'Europe, une victoire 0-0 aux tirs au but contre le S.L. Benfica[1].
Aberdeen
Avec l'arrivée du Brésilien Romário, Gillhaus se retrouvait relégué à un rôle de remplaçant au PSV. En novembre 1989, il signait avec Aberdeen pour 650 000 livres sterling et se distinguait dès ses débuts en inscrivant deux buts (dont un coup de tête) contre Dunfermline Athletic lors d'une victoire 3-0 à East End Park[2] ; il inscrivait ensuite l'unique but du match contre les Rangers, d'une frappe enroulée du pied gauche dans la lucarne de Pittodrie[3].
Sous le maillot d'Aberdeen, Gillhaus a remporté la Coupe d'Écosse en 1989-90, inscrivant deux buts en finale contre le Celtic et débutant, lors du match décisif, une autre victoire aux tirs au but.
Fin de carrière
Gillhaus a quitté Aberdeen au début du mois de mars 1993 après être tombé en disgrâce auprès du manager Willie Miller, pour rejoindre le Vitesse Arnhem pour 300 000 £ Il a marqué 22 buts lors de sa première saison complète, terminant quatrième et se qualifiant pour la Coupe de l'UEFA[2].
À l'âge de 31 ans, Gillhaus est reparti à l'étranger, signant pour Gamba Osaka en J-League japonaise. En 1998, il joue en Finlande avec le FF Jaro et prend sa retraite à la fin de la saison suivante, à près de 36 ans, après avoir aidé son premier club, Den Bosch, à retrouver l'élite.