Пиллоу родился в округе Уильямсон, штат Теннесси, в семье Гидеона Пиллоу и Анны Пэйн Пиллоу. В 1827 году он окончил нэшвильский университет и стал практикующим юристом в Колумбии (Теннесси), причём являлся партнером будущего президента США Джеймса Полка. 24 марта 1831 года он женился на Мэри Элизабет Маартин. С 1833 по 1839 год служил бригадным генералом теннессийского ополчения.
Когда началась мексиканская война, Пиллоу вступил в армию США (в июле 1846) в качестве бригадного генерала, а президент Полк повысил его до генерал-майора 13 апреля 1847 года. Он был ранен в правую руку при Серро-Гордо и в левую ногу при Чапультепеке.
Во время войны начался его конфликт с главнокомандующим Уинфилдом Скоттом. 10 сентября 1847 года в печать попало анонимное письмо, подписанное «Леонидас», автор которого утверждал, что именно Пиллоу выиграл сражения при Контрерасе и Чурубуско. Авторство Пиллоу вскоре было установлено, его арестовали и приговорили к суду. Президент Полк, помогая Пиллоу, вызвал Скотта в Вашингтон. Суд начался в марте 1848 года. Майор Арчибальд Бернс подтвердил авторство Пиллоу. Пиллоу избежал наказания, но в июле 1848 года его уволили из армии.
Гражданская война
Пиллоу был противником сецессии, однако после начала войны вступил в армию Конфедерации, где с 9 мая 1861 года служил генерал-майором теннессийского ополчения. В июле ему присвоили звание бригадного генерала армии Конфедерации и он получил в свои руки отряд, который одно время назывался «Армией освобождения». Вскоре он стал подчиненным генерала Альберта Сидни Джонстона на Западном Театре. Его первым сражением стало сражение при Бельмонте, где он встретился с Улиссом Грантом, для которого это сражение тоже было первым.
