Le conservatoire qui fut initialement situé sur la rue Laviolette, puis sur la rue Niverville, emménage à son emplacement actuel sur la rue Radisson en octobre 1978. Il était à l'origine une école préparatoire, créée par Kaczynski le 1er avril 1964. Précisément trois ans plus tard jour pour jour, l'école est devenue un conservatoire à part entière. Kaczynski a continué à diriger l'école jusqu'en 1970, à la tête d'un personnel dont les membres comprenaient Gaston Arel (théorie musicale), Otto Armin (violon), Hervé Baillargeon (flûte), Raymond Daveluy (harmonie/contrepoint), Réal Gagnier (hautbois), Stephen Kondaks (alto), Rafael Masella (clarinette), Élisabeth Miquel (piano et accompagnement au piano), Bernard Piché (orgue et matières théoriques), Antoine Reboulot (piano) et Charles Reiner (piano et accompagnement au piano).
À l'origine, le conservatoire proposait uniquement de la musique instrumentale, avec notamment Jean Deslauriers comme premier chef d'orchestre de l'école. Raymond Daveluy a succédé à Kaczynski comme directeur de l'école de 1970 jusqu'à 1974, quand il a été remplacé par Armando Santiago(en). Cependant, Daveluy est resté membre de la faculté plusieurs années après avoir quitté son poste de directeur. Un programme de musique vocale avec des cours de chant a été créé en 1974 par Jacqueline Martel avec par la suite de plus en plus d'études sur l'opéra et la musique chorale. Une partie du personnel enseignant nommé à l'école dans les années 1970 et 1980 inclut le clarinettiste Jean Laurendeau, le corniste Joseph Masella(en), le hautboïsteBernard Jean, l'organiste Noëlla Genest; les pianistes Michel Dussault, Christiane Sénart, Nadia Strycek, Josephte Dufresne et Denise Trudel-Bellemare, le saxophonisteJacques Larocque, et le tromboniste Joseph Zuskin. Michelle Quintal a enseigné les matières théoriques à l'école et Gilles Bellemare était l'instructeur principal de l'école en harmonie et contrepoint.
