Виник у 1-й половині XX століття під назвою Лісний провулок. На карті 1943 року — Лісна вулиця (таку ж назву мала сучасна Каховська вулиця). Назву Каховський провулок набув 1955 року[1], на честь міста Каховка.
Ліквідований наприкінці 1970-х — на початку 1980-х років у зв'язку зі знесенням старої забудови Микільської слобідки.