אוסטרובסקי החל את קריירת הכדורגל שלו בקבוצת דינמו ברסט בשנת 1990. ב-1992 הוא החל להשתתף עמה בליגת העל הבלארוסית החדשה, שהוקמה לאחר פירוק ברית המועצות. הוא שיחק בברסט במשך שלוש שנים, ושימש מנהיג הגנת הקבוצה. בשנת 1993 עבר אוסטרובסקי לדינמו מינסק, במדיה שיחק ארבע עונות. הוא סייע למינסק לזכות בשלוש אליפויות רצופות של ליגת העל הבלארוסית, בעונות 1993/1994, 1994/1995 ו-1995. הוא כבש עשרה שערים בתקופתו בדינמו מינסק.
בשנת 1997 עבר אוסטרובסקי לקבוצת דינמו מוסקבה. בקבוצה זו הוא תופקד לעיתים גם כקשר אחורי, מלבד תפקידו הקבוע כבלם. בעונתו הראשונה בדינמו הוא סייע לה לסיים במקום השלישי בליגת העל הרוסית. הוא כבש שבעה שערים בשלוש וחצי עונות במוסקבה, אך עקב פציעה במהלך עונתו האחרונה בקבוצה, נפגמה יכולתו והוא איבד את מקומו בהרכב הפותח שלה.
