Поступил на службу в Петербурге в июне 1879 г. (гвардейская конная артиллерия). В 1880 г. — подпрапорщик, в 1884 — поручик, 1891 — штабс-капитан, с 1895 — капитан, с 1896 — полковник. В 1895—1899 годах — командир 4-й батареи гвардейской конной бригады.
В 1899—1900 годах состоял офицером для особых поручений при министре внутренних дел. Затем занимал посты олонецкого (1900—1902) и курляндского (1902—1903) вице-губернатора.
23 июля 1903 года назначен томским губернатором и произведен в генерал-майоры. Прибыл в Томск 6 сентября. 7 сентября 1903 года вступил в управление губернией. Учредил в Томске конную полицейскую стражу, организовал при Томском городском полицейском управлении охранное отделение для выявления политически неблагонадежных лиц.
Содействовал получению Новониколаевском (Новосибирском) статуса города (ноябрь 1904). С назначением 4 ноября 1904 года харьковским губернатором покинул Томск 19 ноября 1904 года.
Харьковский губернатор (1904—1905).
25 июля 1906 года назначен симбирским губернатором. 21 сентября 1906 года у входа в Карамзинскую общественную библиотеку, располагалась в левом крыле здания Дворянского собрания, в него была брошена бомба эсерами-террористами[1][2][3]. Сначала ранения казались не тяжёлыми, но через два дня, 23 сентября 1906 Старынкевич скончался от паралича сердца на почве заражения крови после повреждений, полученных от бомбы[4][5].