В начале XX века для перевозки рыбы стали использовать металлические ёмкости, для открывания которых необходимо было использовать специальный инструмент. От названия рыбы кильки и пошло название этого ножа.
По внешнему виду инструмент напоминает консервный нож, только намного более массивный и с длинным металлическим стержнем вместо ручки. С помощью такого ножа можно разрезать металлические листы толщиной до 3—5 миллиметров.
Данная особенность инструмента не могла не заинтересовать преступников, поэтому в XX веке килечница часто использовалась взломщиками для вскрытия сначала сейфов, а затем, когда сейфы стали делать из более толстого металла, — металлических шкафов.