Mike Conley débute l'athlétisme à la Luther High School de Chicago et le poursuit au sein de l'université de l'Arkansas où il obtient 16 titres NCAA à la longueur et au triple saut.
En 1983, il obtient sa toute première médaille internationale en terminant troisième de l'épreuve du saut en longueur des Championnats du monde d'Helsinki, derrière ses compatriotes Carl Lewis et Jason Grimes. Crédité de 17,50 m l'année suivante à l'occasion des sélections américaines, il remporte la médaille d'argent du triple saut des Jeux olympiques de Los Angeles, terminant à six centimètres d'Al Joyner, vainqueur en 17,26 m.
Le , Conley réalise son meilleur saut (17,71 m) à l'occasion des Championnats des États-Unis d'Indianapolis, mais sa performance est éclipsée ce jour-là par le nouveau record du monde du triple saut établit par Willie Banks en 17,97 m.
Durant la saison 1987, l'Américain devient champion du monde en salle et réalise quelques mois plus tard le quatrième saut de l'histoire en bondissant à 17,87 m lors des Championnats nationaux de San José. Il se voit néanmoins privé du titre des mondiaux de Rome par le Bulgare Khristo Markov. Il ne parvient pas à obtenir sa qualification pour les Jeux olympiques de Séoul en 1988, mais remporte deux médailles lors des Championnats du monde en salle de Budapest en début d'année suivante : l'or au triple saut et le bronze au saut en longueur.
En 1990, Conley subit la loi de son compatriote Kenny Harrison, meilleur performeur mondial de l'année au triple saut, et doit se contenter de la médaille de bronze lors des Championnats du monde 1991 de Tokyo, terminant derrière Harrison et Leonid Voloshin.
En 1992, il remporte le titre des Jeux olympiques de Barcelone en réalisant un bond à 18,17 m, nouveau record du monde non homologué en raison d'un vent trop favorable (+2,1 m/s). Il devance son dauphin, l'Américain Charles Simpkins de plus de cinquante centimètres. Il confirme l'année suivante en s'adjugeant, à 31 ans, le titre des Championnats du monde de Stuttgart avec 17,86 m, devançant notamment le Russe Leonid Volochine et le Britannique Jonathan Edwards. En 1994, il s'impose sur huit des treize compétitions qu'il dispute en plein air, en particulier lors de la finale du Grand prix IAAF à Paris.
Il met un terme à sa carrière d'athlète à l'issue de la saison 2000.
Reconversion
Mike Conley est le directeur exécutif de World Sport Chicago, organisation chargée de promouvoir la candidature de la ville de Chicago pour les Jeux olympiques d'été de 2016. Auparavant, il était chargé du haut niveau au sein de l'USA Track & Field, la fédération américaine d'athlétisme.
Il est également agent de joueurs en basketball. Parmi ses clients figurent notamment son fils et le choix n°1 de la draft 2007 Greg Oden.