Svend Andersen indledte sin karriere i Thisted IF, inden han i 1955 skiftede til Vejle Boldklub. Tiden i Vejle Boldklub bragte for alvor Svend Andersen ind i de danske fodboldelskeres bevidsthed.
Den målfarlige angriber oplevede flere store succeser som VB'er. I 1956 var han med til at spille klubben op i Danmarks fornemste række, da et indlæg fra hans fod blev sat i nettet af Bent Sørensen. Højdepunktet kom i sæsonen 1958, hvor Svend Andersen sammen med Vejle Boldklub vandt Danmarkshistoriens første The Double – mesterskabet og pokalen i samme sæson. Den enestående præstation blev fulgt op i sæsonen 1959 med endnu en pokaltriumf og bronzemedaljer i ligaen.
Svend Andersen havde med sine mange mål og oplæg en stor andel i triumferne i sluthalvtredserne og blev belønnet med fem kampe på Danmarks B-landshold samt en række udtagelser til A-landsholdet. Han nåede dog aldrig at få debut – blandt andet fordi han blev skadet under opvarmningen, før han skulle skiftes ind i en kamp mod Sverige.
