На северной окраине, там, где кончается поселок, граница Паланги совпадает с литовско-латвийской границей. Через Швянтойи идет кратчайший путь из Клайпеды и Паланги в Лиепаю и Вентспилс.
Швянтойи обозначен на карте Г. Целиюса с 1542 года. Местные жители торговали с соседями, сюда прибывали иноземные купцы. Порт Швянтойи был серьёзным конкурентом других портов, особенно после того, как английские купцы получили привилегию на открытие порта, в который могли бы заходить крупные торговые суда. В течение многих веков здесь находилось единственное литовское «окно в Европу», поскольку Мемель (нынешний литовский порт Клайпеда) ещё в XIII веке начал отстраиваться как северный форпост Восточной Пруссии.
В 1685 году посёлку Швянтойи было дано разрешение на самостоятельную торговлю и развитие морского промысла, что оказало значительное влияние на экономику порта.
В 1701 году, во время Северной войны, порт в посёлке был разрушен. И всё же надежда на его восстановление никогда не угасала. Уже в XVIII веках вносились самые разные проекты по его восстановлению, но лишь в 1923—1925 годах начались восстановительные работы.
С 1919 по 1921 год (вместе с Палангой) входил в состав Латвии. Тогда же между Литвой и Латвией разгорелся спор о принадлежности этих территорий, в итоге разрешённый международной арбитражной комиссией, и с 21 марта 1921 года они были переданы Литве.
В 1939—1940 годах, после немецкой аннексии Клайпеды, велись работы на южном и северном молах. Но если в старые времена проживающие здесь курши и жемайты использовали устье одноимённой речушки в основном для отстоя своих рыбацких лодок, то в условиях, когда Клайпеда опять перешла к Германии, Швянтойи стал единственными морскими воротами республики — здесь устроили гавань, почистили и углубили дно, устроили причалы и проложили дороги (историки отмечают: рыбацкий посёлочек, получив государственное финансирование, начал оживать и расти). Как знаковое событие века отметили заход в порт первого коммерческого грузового судна, доставившего в Литву необходимые товары, затем это стало рядовым явлением. Но крупные суда не могли заходить в порт, так как песок заносил портовые ворота. Однако точку в этом развитии поставила Вторая мировая война.
После Второй мировой войны стратегическое развитие местечка кардинально изменилось. Литва получила в свой состав крупный морской порт Клайпеда, неподалёку, в Латвии, развивался удобный порт Лиепая, и потому о Швянтойском порте вновь забыли. Территория порта принадлежала рыболовецкому хозяйству «Паюрис». Зато посёлок приобрёл курортный статус.