Датою заснування клубу вважають 30 січня 1998 року, коли команда зібралася в манежі ХАІ на перший тренувальний збір. Базою команди став спортивний комплекс «Спартак», який тоді потребував ремонту. Головним тренером призначено відомого в Харкові футболіста Валентина Крячка, а його помічником став Олександр Іванов[1].
До кінця 1998 року реконструйовано спорткомплекс «Спартак», створено перші дитячі команди. Наступного року команди 1984 і 1986 років народження дебютували в першій лізі ДЮФЛУ[3]. Перед початком сезону 1999/2000 харків'яни отримали професіональний статус і перший матч на новому рівні провели 2 серпня 1999 року в Кременчуці в групі «В» другої ліги: «Кремінь» — «Арсенал» — 0:1. Гол забив нападник Віктор Григоров. «Каноніри» провели перші 6 турів без поразок і завоювали репутацію однієї з найсильніших команд групи. Клуб фінішував четвертим серед 14 команд, відзначившись найнадійнішою в групі «В» обороною — тільки 13 пропущених м'ячів у 23 проведених поєдинках. Та й, загалом, серед усіх колективів другої ліги менше пропустив тільки «Борисфен» (9 м'ячів). Особливо вдало «Арсенал» виступав на власному полі — жодної поразки та тільки 2 пропущені голи, що стало найкращим показником серед усіх команд другої ліги[4].
Першість 2000—2001 років «Арсенал» завершив на тому самому 4-му місці, але якість гри не задовольняла амбітне керівництво клубу (президент Володимир Чумак поставив завдання посісти мінімум 3-тє місце[5]) й наприкінці сезону, 7 травня 2001 року, замість Валентина Крячка головним тренером призначено Івана Панчишина.
«Гармаші» потужно розпочали сезон 2001/02, перемігши у 8 із 10 стартових ігор. Перше коло «Арсенал» закінчив лідером турнірної таблиці. Надійно грав захист команди, де виділявся 19-річний Олександр Кучер — майбутній гравець «Шахтаря» та збірної України. Уперше в складі команди почали з'являтися ДЮФК «Арсенал». У весняній частині чемпіонату колектив грав не так яскраво, через що відбулася заміна на тренерському містку — 20 травня 2002 року «Арсенал» очолив Ігор Рахаєв. Під його керівництвом клуб зумів завершити першість на другому місці й вибороти право виступати в першій лізі сезону 2002/2003.
Історичний перший матч у першій лізі відбувся в Ужгороді 6 листопада 2002. Він завершився розгромом гостей — 3:0. У складі «Закарпаття» гет-трик оформив Мирослав Бундаш. Наступного туру «Арсенал» здобув першу перемогу на новому рівні, обігравши львівські «Карпати-2» з рахунком 3:2. Перший гол у новій лізі забив Максим Чернишов. В 1/16 Кубка України харків'яни в серії пенальті вибили з турніру вищолігову «Таврію» (Сімферополь). А після зимової перерви на поле почав виходити Андерсон Рібейро — перший легіонер в історії клубу й перший бразилець, який виступав за харківські команди[6]. «Каноніри» посіли дев'яте місце серед вісімнадцяти команд.
У першості 2003—2004 років «Арсенал» покращив своє місце в таблиці, завершивши сезон на 7-ій позиції. Команда одержала низку перемог над лідерами ліги — «Закарпаттям», «Сталлю» (Алчевськ) і «Спартаком» (Івано-Франківськ). У головному складі з'явився вихованець клубу нападник Руслан Фомін, якого почали викликати до юнацької збірної України.
Під час сезону 2004/05 «Арсенал» відкрив клубний стадіон «Арсенал-Баварія», збудований на місці колишнього стадіону канатного заводу[7]. У матчі-відкритті 28 серпня 2004 року «Арсенал» переміг «Поділля» (Хмельницький). До клубу перейшло чимало колишніх футболістів «Металіста» на чолі з тренером Геннадієм Литовченком. Віце-президентом став Віталій Данилов. На весняну частину чемпіонату завдання поставлено однозначне — вихід до вищої ліги. Цієї мети досягнуто, провівши навесні вражаючу серію із 14 перемог поспіль на футбольному полі плюс технічну над «Поліссям», яке знялося з розіграшу. У цьому відтинку за команду виступав 17-річний Олександр Гладкий, який прийшов із «дубля» «Металіста». У 10 поєдинках нападник провів 4 м'ячі. Ще за три тури до фінішу «Арсенал» забронював собі друге місце та путівку до вищої ліги наступного сезону.
Однак перед початком сезону 2005—2006 на клуб чекали значні зміни. Місце «Арсенала» в елітному дивізіоні посів ФК «Харків» на чолі з президентом В. Даниловим, а «Арсенал», зберігши інфраструктуру, почав змагання в другій лізі. Новим пріоритетом команди стала робота з молоддю, а не підвищення в класі[8]. Із лідера першої ліги колектив перетворився на середняка другої. Це спричинило значне падіння глядацького інтересу. Середнє відвідування домашніх матчів команди впало з понад 2300 глядачів у сезоні 2004—2005 до менш ніж 500 глядачів наступного сезону[9][10]. У грудні 2005 на прес-конференції представлено нового головного тренера команди — Віктора Камарзаєва. Змагання у своїй групі 2-ї ліги «Арсенал» завершив на десятій позиції. До листопада 2006 року на стадіоні «Арсенал-Спартак» завершено реконструкцію та постелено синтетичний газон і харківська дружина отримала другий повноцінний домашній стадіон[11]. Урахувавши невиразну гру та лише дев'яту сходинку в турнірній таблиці за підсумками чемпіонату 2006/07 клуб вирішив не продовжувати контракт із В. Камарзаєвим і під час літнього міжсезоння 2007 року на посаду головного тренера запрошено Сергія Кандаурова.
Після втрати професійного статусу команда виступала у Чемпіонаті України серед аматорів, чемпіонаті та кубку Харківської області та інших аматорських змаганнях. До активу клубу можна занести завоювання Кубку Харкова, а згодом Суперкубку Харкова у 2010 році. До 2017 року команда виступала у Чемпіонаті Харкова. Станом на 2019 рік юнацькі команди футбольної академії «Арсенала» продовжують грати в Дитячо-юнацькій футбольній лізі України.