Gemmill debuteerde in 1990 als negentienjarige in het shirt van Nottingham Forest onder leiding van de legendarische trainer Brian Clough. In 1991 verloor Gemmill met Nottingham Forest de finale van de FA Cup tegen Tottenham Hotspur. Nottingham Forest, met Gemmill, degradeerde meteen uit de Premier League nadat deze in augustus 1992 werd opgericht. Clough stapte na dat seizoen op als trainer. In 1999 verkaste Gemmill naar Everton, waarmee de Schot nog steeds actief was op het hoogste niveau.[2] Hij speelde tot en met 2004 op Goodison Park, met wisselend persoonlijk succes. Gemmill speelde 97 competitiewedstrijden en scoorde vijf maal. In 2004 werd hij door Everton bij tweedeklasser Preston North End gestald. Datzelfde jaar verliet hij de club en tekende een contract bij Leicester City, dat pas gedegradeerd was uit de Premier League.[3] Met Leicester City was Gemmill vervolgens twee seizoenen actief op het tweede niveau. Gemmill verliet het Walkers Stadium in 2006.
