Il a grandi dans le quartier du Queens, à New York et se joint aux Ramones en 1989, peu avant ses 24 ans (alors que les autres Ramones atteignaient presque la quarantaine), pour y demeurer jusqu'à la dissolution du quatuor le . Il est apparu pour la première fois sur scène comme membre des Ramones le 30 septembre 1989 à Leicester en Angleterre. C.J. a remplacé le bassiste original Dee Dee Ramone. On retrouve ses initiales sur le dernier logo produit par le groupe, dans les années 1990.
C'est C.J. Ramone qui a suggéré au groupe de reprendre la chanson de Tom Waits « I Don't Wanna Grow Up », qui fut enregistrée pour l'album ¡Adios Amigos!.
Le guitaristeJohnny Ramone déclarait qu'il avait su immédiatement, lors de l'audition où C.J. est apparu, qu'il serait le bassiste idéal, parce qu'il avait le « look qu'il fallait ». Johnny a aussi mentionné que l'arrivée de C.J. Ramone était la bienvenue, puisque son prédécesseur, Dee Dee, était selon lui devenu « indésirable », surtout en raison de sa consommation de drogues.
