Atuou durante 15 anos como zagueiro. Iniciou a sua carreira jogando futsal. Depois foi para o futebol de campo no America, pelas mãos de seu pai, que fazia parte da diretoria do clube. Passou pelo Fluminense (seu time de coração), depois jogou no São Cristóvão e no Bonsucesso. Até que, em 1980 foi para o exterior atuar num time da Venezuela. Passou grande parte da sua carreira fora do Brasil, de 1980 a 1990. Voltou em 1987, voltou a jogar novamente no São Cristóvão. No final de 1988, foi jogar nos EUA, em um time de Nova Iorque. Em 1990 retornou ao Brasil e voltou a jogar no São Cristóvão, onde encerrou sua carreira, aos 32 anos, após mais uma cirurgia no joelho e se tornou treinador de futebol, função que exerce até hoje.
Como técnico
Sempre dirigiu equipes pequenas do Rio de Janeiro, como São Cristóvão, onde descobriu e treinou o jogador Ronaldo Fenômeno, antes desse ser vendido para o Cruzeiro, em 1992, aos 17 anos de idade, o Bangu, Portuguesa-RJ, America, Itaperuna, Entrerriense, o Friburguense e o Madureira. No Avaí de Florianópolis atuou em grande parte do Campeonato Brasileiro da Série B de 2007 onde acabou em 15º colocado. Ainda no final do ano de 2007, Sampaio deixou o Leão da Ilha de Florianópolis, e em 2008, voltaria a ser treinador do Madureira, mas deixou o clube ao ser procurado para ser auxiliar de Romário, que, para acabar de cumprir o seu contrato com o Vasco da Gama, estava atuando como técnico do clube, carreira que o 'baixinho' nunca pensou em seguir, para atuar como auxiliar técnico, numa parceria. Após a saída de Romário no comando do time do Vasco da Gama, após um desentendimento com Eurico Miranda, na época presidente do time, Alfredo Sampaio assumiu o comando do time. Pouco tempo depois, após uma séria desavença com o jogador Edmundo, ele próprio também deixou o comando do time do Vasco.[1]
Em 2009, voltou a ser treinador do Madureira e do Cabofriense[2] no ano de 2010, assumiu o comando do Americano de Campos, mas ficou pouco tempo no clube, devido a questões familiares. para 2011, assumiu o comando do Boavista-RJ, onde a levou até a final da Taça Guanabara de 2011. meses depois assumiu o comando do Duque de Caxias,[3] para a disputa da série B. onde após resultados negativos na competição, foi demitido no dia 23 de junho.[4] em novembro do mesmo ano, acertou seu retorno ao comando do Boavista-RJ[5] saindo do clube de saquarema, após a direção demitir-lo. Em setembro desse ano, acertou sua ida para o Volta Redonda.[6] Em abril de 2013, acertou mais um retorno, ao comando do Bangu.[7]
Em 2016, comandou o Madureira em treze jogos, sendo demitido após derrota para o Fluminense.[11]
Em 2017 e 2018 comandou o Bangu no Campeonato Carioca, sendo responsável pela formação do time que acabou chegando nas semifinais da Copa Rio em 2018. Alfredo, porém, havia pedido demissão antes do fim do campeonato, por divergências com a diretoria sobre condições de trabalho dos jogadores.[12][13]
Em outubro de 2019, fechou contrato com a Cabofriense para a disputa do Campeonato Carioca de 2020.[14]
Depois chegou ao Madureira em 2021 para a disputa da temporada. Classificou-se para a Taça Rio perdendo a semifinal para o Vasco. Na Série D teve um bom começo mas depois de alguns tropeços o clube foi eliminado na fase de grupos. Teve sua manutenção no comando do elenco que disputaria o Campeonato Carioca de 2022 e foi demitido após nova eliminação.[15]
Dia 3 de março de 2023 foi anunciado pelo América para a disputa da Série A2 do Campeonato Carioca. Ao perder para o Sampaio Corrêa por 4 a 3 e ser eliminado da competição, o treinador se envolveu em uma confusão com torcedores.[16] Nos dias seguintes, pediu desculpa à torcida.[17]
Em uma entrevista em 2023, relembrou sua passagem no Vasco da Gama, declarando que "foi um erro assumir o Vasco em 2008".[18]
Em 2024 foi anunciado no Sampaio Corrêa-RJ durante o campeonato carioca após a demissão de Silvestre dos Anjos. Com Alfredo, o time subiu de produção saindo da penúltima posição com apenas um ponto, para uma classificação heróica para a Taça Rio no saldo de gols após aplicar uma sonora goleada de 4 x 0 sobre o Audax na última rodada. Em 26 de novembro de 2024, a diretoria do Sampaio Corrêa confirmou que Alfredo estará comandando a equipe em 2025.[19]
Outros
Além de técnico de futebol, Alfredo Sampaio acumula a função de presidente do Sindicato dos Jogadores Profissionais de Futebol do Rio de Janeiro (SAFERJ) e de presidente da Federação dos Jogadores de Futebol do Rio de Janeiro.
No cargo de presidente da SAFERJ, Alfredo Sampaio conseguiu significativas vitórias e conquistas a respeito dos direitos trabalhistas dos jogadores de futebol do Rio de Janeiro e do Brasil, entre elas o Direito de Arena.