O Convento do Rosario era unha institución relixiosa establecida na vila de San Sadurniño.
As súas orixes están relacionadas coa Orde do Temple, que construíu un hospital e unha igrexa na Idade Media. En 1508 o primeiro señor de San Sadurniño, Fernando de Andrade, neto de Nuno Freire de Andrade, o Mao, reconstrúe a igrexa e obtén bula do papa Xulio II para establecer unha colexiata atendida por cinco capeláns.
O fillo de Fernando de Andrade, Xoán Freire de Andrade, segundo señor de San Sadurniño, substitúe os capeláns por regulares da orde franciscana.
En 1570 o terceiro señor de San Sadurniño, Pedro de Andrade, fillo do anterior, encomenda o convento á orde de San Domingos, sendo estes relixiosos os que rexerán a institución ata a súa desaparición no século XIX. Este mesmo señor crea a Cátedra de Gramática e Latinidade, dependente do convento.
Na actualidade, o edificio conventual alberga dependencias municipais e o xulgado de paz. A igrexa parroquial actual de Santa María do Rosario é do século XVIII e pertenceu ao convento ata 1835. Nela áchanse os sepulcros dos dous primeiros señores de San Sadurniño, así como o da muller do primeiro, dona Inés de Castro.