Перший футбольний матч у Знам'янці відбувся ще в 1911 році. З того часу футбол у місті почав ставати все популярнішим.
Футбольний клуб «Локомотив» було засновано в 1924 році знам'янськими залізничниками. Тому з самого початку команда перебувала на балансі тих же залізничників. Спочатку клуб виступав у регіональних футбольних змаганнях, згодом грав у чемпіонаті та кубку СРСР серед КФК. За радянських часів вважався третьою найсильнішою командою області, після кіровоградської «Зірки» та олександрійського «Шахтаря». Після розпаду СРСР залізничники припинили фінансування клубу.
У 1990-х роках «Локомотив» був одним з найсильніших аматорських клубів Кіровоградщини. Команда неодноразово вигравала обласний чемпіонат (1993/94, 1995/96, 2011) та кубок (1993, 1994, 1996, 1997, 2012). Також ставала призерами чемпіонату області. У 1990-х роках команда регулярно виступала в аматорському чемпіонаті України, у сезоні 1997/98 років виступала в аматорському кубку України. А в сезоні 1994/95 років знам'янці стартували в кубку України, де в 1/128 фіналу обіграли кременчуцький «Вагонобудівник», проте вже в наступному раунді поступилися земляками, кіровоградській «Зірці».
У 2000-х роках матеріальне становище клубу погіршилося, тому команда вже не могла дозволити собі виступати у всеукраїнських аматорських турнірах. Тому «Локомотив» продовжував виступи в обласних змаганнях. У 2017 році через фінансову скруту команда змушена була виступати в чемпіонаті Знам'янського району.