Já na República, foi deputado à Assembleia Constituinte de 1890 e nas duas seguintes legislaturas, tendo sido presidente da Câmara dos Deputados no biênio 1894 — 1895. Foi eleito senador por Pernambuco em 1895, mandato ao qual renunciou em 1898 para assumir o cargo de vice-presidente da República.
Terminado o mandato de vice-presidente, voltou ao Senado, onde continuou sendo reeleito até sua morte.
Por sua orientação, o então governador de PernambucoSigismundo Gonçalves, fiel rosista, mandou a polícia estadual atear, deliberadamente, fogo ao Derby, um moderno centro comercial no Recife, no dia 2 de janeiro de 1900, destruindo aquele empreendimento pioneiro recém-criado por Delmiro Gouveia, de quem era inimigo político e de quem recebera bengaladas em público, com o objetivo de levá-lo à falência. O jornal do Recife A Província publicou, em 4 de janeiro de 1900, um telegrama atribuído ao então governador Sigismundo Gonçalves para o Conselheiro Rosa e Silva: "Mercado incendiado. Delmiro preso. Saudações, Sigismundo Gonçalves".[2]
Também sob sua influência, o então governador Sigismundo Gonçalves impetrou perseguição ao poeta Oscar Brandão da Rocha, vencedor do concurso instituído para pôr letra no Hino de Pernambuco. Por ser seu inimigo político, Oscar Brandão teve negado o pagamento de seu prêmio, foi perseguido e precisou fugir. Durante algum tempo, o Hino de Pernambuco foi cantado com a letra do poeta perdedor do concurso, Carlos Dias Fernandes.[3][4]
Nas eleições estaduais de 1911, o Jornal Diario de Pernambuco, de propriedade de Rosa e Silva, divulga sua vitória com 21 613 votos contra o candidato militar Dantas Barreto (candidato apoiado pelo Presidente Hermes da Fonseca) que teria obtido 19 585 votos. Mas, os partidários de Dantas Barreto não se conformaram com o resultado das urnas. E o Recife passou por um dos momentos mais violentos e sangrentos, que convergiram para a paralisação dos bondes, o fechamento de cinemas e casas comerciais, e o grande temor da população em sair às ruas.[5]
Apesar da perda de influência nas eleições para a Presidência do Estado de Pernambuco a partir de 1911, Rosa e Silva continuou sendo reeleito para o Senado Federal.
Seu irmão, José Marcelino da Rosa e Silva, também foi Senador da República pelo Estado de Pernambuco durante o período em que ocupou o cargo de vice-presidente do Brasil. José Marcelino também foi Presidente da Província do Rio Grande do Norte no final do Brasil Imperial e chegou a ser deputado estadual e federal por várias legislaturas.[6]