Klub powstał w 1948 roku, jednak przez długi czas nie odnosił większych sukcesów, występując w amatorskich ligach Walii. Przełom nastąpił w połowie lat 90. XX w. W 1996 roku piłkarze Carmarthen Town wygrali rozgrywki Welsh Division One, awansując tym samym do Welsh Premier League po raz pierwszy w historii. Od tego czasu występują oni nieprzerwanie w najwyższej klasie rozgrywkowej swego kraju. W międzyczasie występowali także trzykrotnie w finale Pucharu Walii, sięgając po to trofeum w 2007 roku po zwycięstwie 3:2 nad Afan Lido F.C. Z kolei najwyższą jak dotąd pozycją w Welsh Premier League było 3. miejsce w 2001 roku.
W sezonie 2005/2006 Carmarthen Town A.F.C. zadebiutowało w europejskich pucharach. W 1. rundzie eliminacji Pucharu UEFA piłkarze walijscy wyeliminowali irlandzkiLongford Town F.C. (0:2 na wyjeździe i 5:1 u siebie). W kolejnej rundzie odpadli jednak przegrywając dwukrotnie ze znanym duńskim zespołem FC København po 0:2.
Drugi start w Pucharze UEFA miał miejsce po zdobyciu Pucharu Walii, w sezonie 2007/2008 tych rozgrywek. Carmarthen Town przegrało jednak wówczas dwukrotnie wysoko (1:8 i 3:6) z norweskimSK Brann.
Q – runda eliminacyjna, 1/16, 1/8, 1/4, 1/2 – odpowiednia faza rozgrywek, Grupa – runda grupowa, 1r gr – pierwsza runda grupowa, 2r gr – druga runda grupowa, F – finał, R – runda, PO – play-off
k. – rzuty karne, los. – losowanie, Dogr. – dogrywka, w. – zasada bramek strzelonych na wyjeździe