Embora não haja informações seguras acerca da primitiva ocupação humana de seu sítio, ela se prende à travessia do rio Lima, onde primitivamente existiu uma ponte romana, substituída, na Idade Média por outra. Desse modo, além da via natural constituída pelo rio, que comunicava o litoral com o interior, estabelecia-se uma encruzilhada com a antiga estrada romana (via XIX do Itinerário de Antonino) que ia de Braga a Astorga, passando por Lugo e Tui, utilizada posteriormente, na Idade Média, por peregrinos rumo a Santiago de Compostela.
A cerca medieval
No contexto da Reconquistacristão da Península Ibérica, este dinâmico burgo medieval recebeu o seu foral da Condessa D. Teresa, institucionalizando a sua feira, a 4 de Março de 1125. Nesse documento afirma-se ter ela ter resolvido fundar uma vila no lugar denominado "Ponte", concedendo privilégios a todos os que aí se fixassem.
De fortificação tardia, as suas defesas foram iniciadas sob o reinado de D. Pedro (1357-1367), iniciando-se a brita da pedra para a cerca da vila a 8 de Março de 1359 e o muro a 3 ou 6 de Julho do mesmo ano, conforme inscrição epigráfica originalmente na Torre Velha. Os trabalhos estariam concluídos anteriormente a 11 de Maio de 1370, no reinado de D. Fernando (1367-1383), tendo desempenhado importante papel estratégico sob o reinado de D. João I (1385-1433).
A prosperidade trouxe o crescimento da vila, absorvendo a cerca tardo-medieval. Em fins do século XVIII, a Câmara Municipal autorizou a demolição de partes da antiga cerca para reutilização da sua pedra (1787). Em meados do século XIX foi demolida uma das últimas torres, datando dessa data (1857), a única foto conservada da Torre Velha.
A cerca tardo-medieval de Ponte de Lima apresentava plantaoval irregular, relativamente extensa, desenvolvendo-se por mais de um quilômetro. Defendida por uma barbacã, era reforçada originalmente por nove torres e compreendia a ponte em estilo gótico, defendida por sua vez por duas torres: a Torre Velha, a Norte, e a Torre da Ponte, na extremidade oposta, inscrita na defesa da vila. Posteriormente, no século XV, edificou-se a Torre do Castelo, junto à cidadela, a Sul. Da primitiva ponte romana restam-nos cinco arcos em volta redonda no lado Sul, contrastando com os arcos ogivais correspondentes à reconstrução tardo-medieval.
O acesso à vila era feito através de seis portas, das quais subsiste a chamada "Porta Nova". Das primiticas torres subsistem duas:
A Torre da Cadeia, também denominada como Torre da Porta Nova é fruto das obras erguidas no reinado de D. Manuel I para instalação da cadeia da Correição da Comarca, tendo sido concluída em 1511. Constitui-se numa casa-forte acastelada, com planta no formato quadrangular, dividida internamente em três pavimentos e uma enxovia. A estrutura apresenta janelasgradeadas sobrepostas, é coroada por merlões piramidais, e ostenta no alçado Sul o escudo de armas do soberano e uma esfera armilar. Era acedida originalmente pelo adarve da muralha, tendo recentemente sido aberta a porta de arco quebrado em seu pavimento inferior, para o que foram realizadas obras de rebaixamento do mesmo.
A Torre de São Paulo, de planta quadrangular coroada por merlões, foi erigida no século XIV, integrando a cerca da Vila. O seu nome deve-se à existência de uma imagem desse santo numa edícula sobre a porta do postigo que lhe era adjacente. Fazendo parte do reforço estrutural da muralha, maciça e sem fenestração, sofreu intervenções no início do século XVI, perceptíveis na única porta de acesso ao nível do adarve do muro adjacente. Conserva nas paredes pelo lado interno, os apoios do madeiramento dos pisos. Externamente, na face voltada para o rio, encontra-se um painel de azulejos de autoria de Jorge Colaço, representando o episódio de D. Afonso Henriques na Cabração (Cabras São Senhor!). Como recordação das cheias do rio, no alçado pela rua do Postigo, quase ao nível da cota do pavimento pode ler-se uma inscrição gótica, que reza: "Aqui chegou o rio pelo risco".