Ялтинський «Рубін» було засновано у 2009 році Павлом Кандулом. Спочатку клуб мав аматорський статус і виступав у першості Ялти, спираючись на власних ялтинських футболістів[1].
Після анексії Криму Росією було організовано Прем'єр-лігу Кримського футбольного союзу серед професіональних клубів. Для визначення учасників турніру було проведено Всекримський турнір, на якому ялтинці під керівництвом Спартака Жигуліна посіли у групі «Б» четверте місце. У підсумку «Рубін» був заявлений для участі в першому сезоні Прем'єр-ліги КФС, де за його підсумками посів передостаннє місце. За регламентом турніру «Рубін» зіграв у стикових матчах проти «Гвардійця», який посів друге місце у Відкритому чемпіонаті Криму. Обидва матчі завершилися перемогою ялтинців (2:1, 1:0), що дозволило клубу продовжити виступи у Прем'єр-лізі[2].
Сезон 2017/18 завершився для «Рубіна» останнім рядком чемпіонату, після чого клуб вилетів до Відкритого чемпіонату Криму, де грають аматорські команди[3]. У лютому 2019 року команда стала переможцем останнього розіграшу меморіалу Юрковського[4]. У Відкритому чемпіонаті півострова ялтинці двічі виборювали бронзові нагороди, а в сезоні 2020/21 стали першими, що дозволило команді повернутися до Прем'єр-ліги КФС.
У грудні 2022 року президента клубу Сергія Гардока було заарештовано на вісім діб за акцію вболівальників, які влаштували акцію з фаєрами і перекриттям руху в Сімферополі[5].
У сезонах 2021/22 та 2022 команда двічі доходила до фіналу Кубка КФС, а в Прем'єр-лізі 2022 року «Рубін» посів друге місце, що є найкращим результатом команди в історії[6]. У першій половині 2023 року клуб продовжив виступи у Прем'єр-лізі КФС, посівши за підсумками двох кіл чемпіонату четверте місце.
У червні 2023 року стало відомо, що клуб пройшов атестацію для участі у Другій лізі Росії[7]. При цьому з розіграшу Прем'єр-ліги КФС Рубін не знявся, а продовжив виступати молодіжним складом під керівництвом Сергія Леженцева[8] .
Напередодні старту чемпіонату клуб оновив склад, у якому залишилося лише 6 футболістів, які грали раніше за «Рубін»[9]. Перший матч у російському турнірі ялтинці провели 16 липня на виїзді з командою «Біолог-Новокубанськ» (1:1). Голом у складі «Рубіна» відзначився Азамат Атаєв[10].