Кладбище основано в 1771 году за пределами города. В 1771 году, после эпидемиичумы, все захоронения в городской черте были запрещены, и за Камер-Коллежским валом были учреждены новые кладбища (в том числе сохранившиеся Рогожское, Введенское, Ваганьковское и Калитниковское). Сегодня площадь кладбища около 19 гектаров.
Вначале кладбищенская церковь была деревянной, существующая каменная церковь Иконы Божией Матери «Всех скорбящих Радость» была возведена по проекту архитектора Н. И. Козловского в 1834—1838 годах и перестроена в 1881 году архитектором В. И. Веригиным. В 1890-е годы отделка интерьера церкви (ризница, иконостас) осуществлена архитектором И. Т. Барютиным. Ограда кладбища сооружена по проекту архитектора Н. П. Маркова.
До 1917 года на кладбище хоронили в основном торговых людей — выходцев из крестьян, а также отдельных представителей русской интеллигенции.
Название происходит от местности Калитники, которую, по наиболее распространённой версии, по преданию князь Иван Калита пожаловал Крутицкому подворью. Однако в духовных Калиты села с таким названием нет. Более того, оно неизвестно и документам XV—XVII вв. Впервые это название встречается на плане 1688 г.: здесь показана речка Калитенка, она же — Калитниковский ручей. Форма названия позволяет предполагать, что в Калитниках жили калитники — мастера, делавшие кожаные сумки и кошели (калиты).
