С 13 лет работал помощником пекаря, затем пекарем в Валансе и Шасле, в 1865 году, после смерти жены, оставил работу и попробовал заняться сельским хозяйством, однако быстро в этом разочаровался. В 1867 году получил должность сельского почтальона в Отриве, недалеко от своей родной деревни. Разнося почту, он ежедневно проделывал путь в 25-30 км, складывая в тачку камни необычной природной формы. В 1878 году, благодаря приданому второй жены и взятому вперёд двухлетнему жалованию почтальона, Шеваль приобрёл в Отриве небольшой участок земли. После этого в течение 33 лет, начиная с 1879 года, он в одиночку, в свободное от работы время, днём и ночью, в любую погоду, при помощи самых незатейливых инструментов воплощал в жизнь свою мечту — превосходящий всякое воображение дворец. Закончив к 1912 году этот титанический труд и начертав над входом: Plus opiniâtre que moi se mette à l'œuvre («Пусть теперь за работу принимается более упорный, чем я»), он вскоре взялся за новый проект. Получив от местных властей отказ в просьбе быть после смерти похороненным в своём дворце, он начал возводить семейный склеп. Работы над «Усыпальницей молчания и бесконечного покоя» заняли ещё 8 лет.