Esta igreja foi construída em 1631 pelo papa Urbano VIII a pedido de algum nobre da Dalmácia devoto do santo papa do século III e que veio a Roma para buscar os restos do antigo titulus Gai. Na realidade, a igreja estava apoiada nos restos de uma construção do século III identificada como sendo o antiquíssimo título. Segundo Giuseppe Scarfone, estes vestígios abrangiam a domus Nummiorum, construída na primeira metade do século IV e em cujo subterrâneo foi escavado um mitreu. Sobre suas ruínas, provavelmente no século V, foi construída uma primeira igreja dedicada ao papa São Caio, sede do famoso título; arruinada, foi reconstruída no século XVII juntamente com o mosteiro vizinho.
Vista da Via XX Settembre mostrando o novo Palazzo dello Ministero della Guerra e, ao lado, onde seria aberta a Via Firenze, a igreja de San Caio, demolida logo em seguida.
A igreja, o mosteiro anexo e os antigos vestígios foram todos destruídos nas obras de demolição em 1885, . Além do ministério, no terreno do antigo complexo, foram construídos outros edifícios no final do século XIX, incluindo a Igreja Evangélica Metodista de Roma.
Depois da unificação da Itália, o complexo foi confiscado pelo novo governo da Itália e completamente demolido em 1885 sem a realização de escavações arqueológicas. O objetivo aparentemente não foi a construção do Palazzo del Ministero della Guerra e sim a abertura da via Firenze, pois existe uma foto de 1883 mostrando o prédio do ministério completo e a igreja ainda no local (vide ao lado).
As relíquias do papa São Caio foram levadas para Santa Susanna.
.jpg)
