Ellefsæter, der für den Nybygda IL startete, wurde im Jahr 1958 norwegischer Juniorenmeister über 10 km.[1] Bei den Svenska Skidspelen 1959 in Falun belegte er den zweiten Platz über 10 km.[2] Im Jahr 1961 gewann er das Birkebeinerrennet. Im März 1963 belegte er beim Holmenkollen Skifestival den dritten Platz im 50-km-Lauf. Bei den Olympischen Winterspielen 1964 in Innsbruck gelang ihn der 25. Platz über 15 km und der achte Rang über 50 km.[1] Im folgenden Jahr errang er den zweiten Platz beim Holmenkollen Skifestival über 50 km. Bei den Nordischen Skiweltmeisterschaften 1966 in Oslo holte er die Silbermedaille über 15 km und die Goldmedaille mit der Staffel. Zudem wurde er dort Vierter über 50 km. In den Jahren 1966 und 1967 triumphierte er bei den Svenska Skidspelen mit der Staffel.[2] Im März 1967 siegte er beim Holmenkollen Skifestival und wurde dafür mit der Holmenkollen-Medaille ausgezeichnet. Außerdem gewann er im selben Jahr bei den Lahti Ski Games den 50-km-Lauf und belegte zudem den dritten Rang über 15 km.[3]
Bei den Olympischen Winterspielen 1968 in Grenoble wurde Ellefsæter sowohl über die 50 km als auch mit der norwegischen Staffel Olympiasieger.[1] Zwei Jahre später errang er bei den Nordischen Skiweltmeisterschaften in Štrbské Pleso den 37. Platz über 50 km und den 20. Platz über 15 km. Im Jahr 1971 gewann er als erster Norweger den Wasalauf. Bei den Olympischen Winterspielen 1972 in Sapporo belegte er den 31. Platz über 30 km und den zehnten Rang über 50 km.[1] Im März 1972 wurde er Dritter und im folgenden Jahr Sechster beim Holmenkollen Skifestival über 50 km. Bei norwegischen Meisterschaften siegte er zweimal über 50 km (1965, 1967) und einmal über 15 km (1964).
Ellefsæter war auch in der Leichtathletik erfolgreich. Von 1960 bis 1965 gewann er sechsmal in Folge bei den norwegischen Meisterschaften den 3000-Meter-Hindernislauf, seine Bestleistung erziele er 1962 mit damals hervorragenden 8:43,8 min. Für seine herausragenden Leistungen in zwei verschiedenen Sportarten erhielt er 1965 den Egebergs Ærespris. 1968 wurde er mit dem Fearnleys olympiske ærespris ausgezeichnet.
Ole Ellefsæter starb am 18. Oktober 2022 beim Bäume fällen auf seinem Hof bei Brumunddal an einem Herzinfarkt.[4]