Шэрман нарадзіўся ў 1855 годзе ў амерыканскім горадзе Ютыка, штат Нью-Ёрк. У 1878 годзе скончыў каледж Гамільтана і на працягу двух гадоў навучаўся юрыспрудэнцыі, пасля чаго ў 1880 годзе заняўся адвакацкай практыкай. У 1884 годзе заняў пасаду мэра Ютыка. Будучы членам Рэспубліканскай партыі, у 1886 ён быў абраны ў Кангрэс ЗША прадстаўніком штата Нью-Ёрк. У 1890 годзе ён саступіў сваё месца Генры Бентлі, аднак ізноў быў пераабраны ў Палату Прадстаўнікоў два гады праз і прапрацаваў у ёй яшчэ 16 гадоў.
У 1908 годзе Шэрман быў абраны віцэ-прэзідэнтам пры прэзідэнце Уільяме Тафце. Ён уступіў у пасаду 4 сакавіка 1909 г. і знаходзіўся на ёй да канца жыцця. Будучы намінаваны Рэспубліканскай партыяй на другі тэрмін (зноў у пары з Тафтам), Шэрман памёр за тыдзень да выбараў 1912 года, але яго імя засталося ў выбарчым бюлетэні на ўсенародным галасаванні. У сакавіку 1913 г. пасаду віцэ-прэзідэнта заняў дэмакратТомас Маршал, які выйграў выбары, разам з прэзідэнтам Вудра Вільсанам.
