오카야마현 출신으로 1903년 육군사관학교를 졸업하였다. 졸업하자마자 발발한 러일 전쟁에 초급장교로 참전하였다. 이후 육군 장교의 출세코스인 육군대학을 졸업하고, 1915년부터 1918년까지 영국에 주재무관으로 파견되었다. 그는 영국에 체재할 당시 제1차 세계대전의 서부전선을 참관한 이후 귀국하여, 연대장과 사단장을 맡았다. 1924년에는 육군대학 교관을 역임하였다.
이후 계속 여러 참모직과 야전직을 거쳐 1935년에 제6사단장에 임명되었고, 이 부대는 1937년 12월 마쓰이 이와네(松井石根)가 지휘하는 중지나파견군에 배속되어 중국군과 싸웠다. 6사단은 베이징과 한커우를 잇는 철도를 확보하기 위한 작전에 참전하였고, 이후 남하하여 상하이 공략 작전과 난징 공략 작전에 참전하였다. 난징 함락 직후 일본군은 항복한 중국군 포로와 비무장 민간인을 대대적으로 학살하는 참극(난징대학살)이 벌어졌다.
1937년 말에 일본에 귀환하여 중부방위군 사령관이 되었고, 1939년 예편하였다. 1945년 다시 현역으로 복귀하여 59군 사령관을 맡았다.
전범 재판
일본의 항복으로 종전을 맞자, 중화민국 (중국 국민당) 정부는 전범재판을 위해 다니의 신병을 요구했다. 다니는 중국으로 소환되어 상하이와 난징에서 휘하 부하들의 민간인과 포로 학살, 강간을 조장한 혐의로 사형 판결을 받고, 1947년4월 26일 총살형으로 처형되었다.
일본의 일부 우익 성향의 역사가들은 중국측의 전범 재판 공소장에 사실 관계와 어긋나는 오류가 많은 것을 들어 다니의 혐의가 과장되었다고 주장하고 있다.