L'existence du passage Saint-Armel remonte au moins à 1367, lorsqu'une charte du duc Jean IV de Bretagne le mentionne parmi les possessions des moines de l'abbaye Saint-Gildas de Rhuys. Il était alors désigné sous le nom de « passage de Questenec », en référence à la petite île de Quistinic toute proche[1].
Des cales de 50 mètres de longueur ont été construites à la fin du XIXe siècle et entretenues jusqu'au milieu du XXe siècle. Le service de traversée régulière est abandonné depuis 1963, mais une barge assure le passage pendant l'été depuis 1998. Par ailleurs, les cales continuent d'être utilisées par les marins-pêcheurs, les ostréiculteurs et les plaisanciers[1].