Почав свою кар'єру в провінційній нитжчоліговій команді «Торріш-Новаш», а 1959 року, у віці 21 року перейшов у столичну «Бенфіку». За час виступів у вищому дивізіоні чемпіонату Португалії зіграв 378 матчів, в яких забив 217 м'ячів. У складі команди двічі вигравав Кубок чемпіонів УЄФА (1961, 1962), а також тричі був фіналістом цього турніру (1963, 1965, 1968), причому 1965 року з 9 голами став найкращим бомбардиром Кубка чемпіонів. У внутрішніх змаганнях став дев'ятиразовим чемпіоном Португалії (1960, 1961, 1963, 1964, 1965, 1967, 1968, 1969, 1971) та чотириразовим володарем Кубка Португалії (1962, 1964, 1969, 1970), ставши також найкращим бомбардиром чемпіонату Португалії у 1963 році (26 голів).
Згодом протягом 1971—1975 років захищав кольори «Віторії» (Сетубал), де 1975 року навіть недовго працював граючим тренером.
Завершив професійну ігрову кар'єру у клубі «Ешторіл Прая», за команду якого виступав протягом 1975—1980 років і також деякий час обіймає посаду граючого тренера.
У складі збірної був учасником чемпіонату світу 1966 року в Англії, на якому команда здобула бронзові нагороди. У матчі за третє місце проти збірної СРСР Торріш став головним героєм поєдинку: на 12-й хвилині він заробив пенальті, який реалізував Еусебіу, а на 87-й сам вразив ворота Льва Яшина, забивши вирішальний гол і встановивши остаточний рахунок 2:1.
Останній матч за збірну Жозе зіграв 13 жовтня1973 року у відбірковому матчі до чемпіонату світу 1974 року проти збірної Болгарії (2:2). Загалом протягом кар'єри у національній команді, яка тривала 11 років, провів у формі головної команди країни 33 матчі, забивши 14 голів.
У 1984 році Жозе очолив збірну Португалії, яку зумів вперше з 1966 року (коли ще сам Торріш грав на турнірі) вивести її у фінальну частину чемпіонату світу 1986 року у Мексиці. Щоправда, на турнірі португальці зайняли останнє місце в групі після чого Торріш покинув посаду.
Останнім місцем тренерської роботи Торріша став нижчоліговий клуб «Бежа», головним тренером якого Жозе Агушту Торріш був 1996 року.
Останні роки і смерть
Після відходу з футболу Торріш оселився в Лісабоні зі своєю дружиною.
3 вересня2010 року, всього за п'ять днів до свого 72-го дня народження і після довгої боротьби з хворобою Альцгеймера, він помер від серцевої недостатності.