Foi revelado pelo Saprissa, profissionalizando-se em janeiro de 2006, quatro meses antes de completar 18 anos.[2] Até 2009, foram 86 partidas e sete gols marcados.
Neste mesmo ano, foi contratado pela equipe norueguesa do Fredrikstad, através do diretor-esportivo Tor-Kristian Karlsen. A equipe investiu 1 milhão de coroas norueguesas (100 mil euros) para contratar Borges, que fez sua estreia em abril, contra o Stabæk.[3] Em três temporadas defendendo o Fredrikstad, o meia atuou em 76 partidas e marcou 29 gols.
Sem contrato com os Aristokratene, Borges assinou por três anos com o AIK, em janeiro de 2012, numa transferência livre. Recebeu a camisa 10, vaga desde a saída de Martin Kayongo-Mutumba.
O atleta fez seu debut pela agremiação, em partida entre AIK e Mjällby, realizada em abril.
Seleção nacional
Depois de atuar nas categorias sub-17 e sub-20 da Seleção Costarriquenha de Futebol, Celso Borges estreou pela equipe principal em junho de 2008, contra Granada, pelas eliminatórias para a Copa de 2010, a qual seu país não conseguiu a classificação.
Presente em três edições da Copa Ouro da CONCACAF (2009, 2011 e 2013), o meia disputou 63 partidas pelos Ticos, marcando 24 gols. Participou ainda de quatro jogos pela seleção sub-17 (1 gol) e três pela categoria sub-20.
Títulos
Primera División de Costa Rica: 2005–06, 2006–07, 2007 - Torneio Apertura, 2008 - Torneio Clausura, 2008 - Torneio Apertura