По словам Нико Макбрэйна, сингл является ремейком одной из более ранних песен группы под названием «Floating», из которых «Purgatory» представляет собой более быструю аранжировку[2]. Один из наименее успешных синглов группы, так он не смог пробиться в ТОП-50 UK Singles Chart, хотя менеджер группы Род Смолвуд[англ.] утверждает, что это произошло потому, что «на самом деле это был не сингл, а просто снятые с альбома песни, которые уже были у фанатов».
Первоначальная обложка сингла, оставленная для студийного альбома
Оригинальная обложка сингла была взята для использования на следующем студийном альбоме группы The Number of the Beast[3]. Смолвуд вспоминает, что, когда нам представили оригинальную обложку, «мы сказали: „Нет, это слишком хорошо“ поэтому мы сохранили ее для альбома. У нас была обложка за несколько месяцев до того, как у нас появилась музыка»[4]. Это означало, что художник группы, Дерек Риггс, должен был придумать замену, на этот раз иллюстрирующую лицо Дьявола, чтобы показать лицо талисмана группы под ним[3].
