Nacido en Sveaborg (localidad de la actual Finlandia), estudió en el 2º Cuerpo de Cadetes de San Petersburgo a partir de 1852 pero cambia de orientación en 1858 y entra en la Universidad de San Petersburgo. Tras el cierre de la universidad tras las agitaciones estudiantiles de 1861 asistió a las clases de la Academia Imperial de las Artes como oidor.
Recibió por parte de la Academia una medalla de plata en 1864 y el título de pintor de 3ª clase. Se une al movimiento peredvízhniki en 1875 y participa en sus exposiciones. Trabaja en Moscú y viaja por toda Rusia buscando inspiración para sus obras. Algo más tarde, permanece en el Cáucaso pintando paisajes que obtendrán algo de éxito. En 1906, en Vólogda es socio fundador del Círculo Septentrional de Amantes de las Bellas Artes. Sus contactos en la Academia Imperial servirían para atraer pintores de la misma a las exposiciones.
Se hizo construir una casa en Tuapsé, ciudad-balneario del mar Negro, cuyos paisajes adora y que sirven de inspiración de alguna de sus obras. La roca de Kiseliov, un acantilado situado entre el cabo Kadosh y la desembocadura del río Agói que representó en varias ocasiones, lleva su nombre. Murió en San Petersburgo el 20 de enero de 1911.
Entre sus alumnos se halla Mijaíl Demiánov. Sus obras se pueden ver en la Galería Tretiakov y otros museos de Rusia, así como en su casa museo en Tuapsé.
