El club va ser creat per un grup d'estudiants que jugaven junts a futbol en el barri d'Al-Farij, de Doha. Un dels estudiants, Nasser bin Moubarak Al Ali, va ser qui va sol·licitar al xeic Jassem bin Hamad l'autorització per a la fundació del club, que va tenir lloc el 21 d'octubre de 1969.[2]
El seu primer títol no va trigar en arribar, guanyant la Lliga de Qatar la temporada 1971/72. Un campionat que va inaugurar dues dècades d'èxits, que el van situar entre els millors clubs del país, conquerint vuit lligues (1972, 1974, 1979, 1980, 1981, 1987, 1988 i 1989) i set Copes de l'Emir (1975, 1977, 1985, 1986, 1988 i 1991), així com el seu primer títol internacional: el Campionat Asiàtic de Clubs el 1989. Amb dos gols de Khalid Salman i un de Mohammed Ghanim, l'Al-Sadd va superar l'Al-Rasheed iraquià, convertint-se en el primer club àrab en conquerir el màxim torneig de clubs d'Àsia.
