В 1921 году поступил в Среднюю подготовительную школу для цветных[англ.] в Балтиморе, которая в 1923 году была переименована в честь Фредерика Дугласа[8]. Учился в классе наравне с лучшими учениками, был членом студенческого совета и команды по дебатам[9]. Окончил школу в 1925 году со средним уровнемоценок B[англ.], став третьим по успеваемости в своём выпускном классе[10]. В том же году Тэргуд вместе со старшим братом Уильямом Обри поступил в университет Линкольна, исторически чёрное высшее учебное заведение в округе Честер, штат Пенсильвания[11]. Их мать Норма настояла на том, чтобы Уильям стал врачом, а Тэргуд — дантистом, считая, что семья не должна ни в чём нуждаться[10][11]. Сам же Маршалл хотел избрать юридическую карьеру[12]. Такое желание сложилось у него благодаря отцу: Маршалл-старший любил принимать участие в судебных разбирательствах, обсуждать рассматривающиеся дела со своей семьей прямо за обеденным столом, возить сыновей в полицейский участок для наблюдения за допросами и следствием, а также заставлял их каждый день читать газеты[13][14]. Именно отец привил Тэргуду уважение к конституции США и верховенству права[3]. Позднее он рассказывал: «Мой отец никогда не говорил мне стать адвокатом. Но именно он и сделал меня таким, научив меня приводить аргументы, доказывать каждое сделанное мной заявление и бросать вызов моей логике»[13].
После получения образования, в 1933 году Маршалл в возрасте 23 лет занялся частной юридической практикой, арендовав небольшой офис в Балтиморе[32][33]. Первыми клиентами стали бедные афроамериканцы, с которых он в иной раз не брал никакой платы, ввиду чего постоянно нуждался в деньгах, но в то же время стал известен как «адвокат маленького человека»[13]. В 1934 году начал работать адвокатом в балтиморском отделении NAACP[34][35][36]. В 1936 году Хьюстон ушёл с работы в Говардском университете и стал первым специальным юрисконсультом NAACP, возглавив Комитет правовой защиты в офисе организации в Нью-Йорке, куда пригласил многих преданных делу адвокатов, в том числе и Маршалла[37][38], ставшего ассистентом юрисконсульта[35]. Так началась 25-летняя работа Маршалла в NAACP[39]. За это время он принял участие в разбирательстве 32 дел о гражданских правах в Верховном суде, выиграв 29 из них[40].
В 1936 году Маршалл получил своё первое крупное дело «Мюррей против Пирсона[англ.]» о сегрегации в школе права Университета Мэриленда, куда ему самому не дали поступить несколькими годами ранее[41][42]. В данном деле он представлял Дональда Гейнса Мюррея[англ.], чернокожего выпускника Амхерстского колледжа с отличием, которому было отказано в поступлении в школу права университета Мэриленда в соответствии с политикой сегрегации[43]. В то время афроамериканцы, желающие изучать право в Мэриленде, согласно законам штата должны были поступать в отдельные образовательные учреждения для чёрных, такие как колледж Моргана или академия Принцессы Анны[англ.], или в школы права за пределами штата на предоставляемые штатом субсидии[44]. Маршалл утверждал, что политика сегрегации в Мэриленде нарушила доктрину «разделённые, но равные[англ.]», закреплённую делом «Плесси против Фергюсона», поскольку штат не предоставил одинаковые возможности для обучения как чёрным, так и белым[45]. Такая позиция была принята Хьюстоном на основании стратегии Натана Марголда, заключающейся в том, чтобы путём подачи исков от налогоплательщиков в Верховный суд обязать штаты улучшить условия обучения чернокожих до условий белых студентов во имя исполнения закона штата о равенстве расходов, либо «смело оспаривать конституционную обоснованность сегрегации, если и когда она сопровождается неоправданной дискриминацией» в том случае, если такого закона в штате нет[46][47][48]. В конце концов, Апелляционный суд Мэриленда[англ.] вынес решение против штата Мэриленд и его генерального прокурора[англ.], представлявшего Мэрилендский университет, отметив, что «следование Конституции не может быть отсрочено по желанию штата. Какая бы система не применялась в юридическом образовании, равенство в его получении должно обеспечиваться непременно»[42][49]. В итоге, осенью того же года Мюррей поступил в школу права своего родного штата[42].