Zbudowane są głównie z brunatnoszarych łupków (mułowce i iłowce), ze sporadycznymi przeławiceniami kwarcytów, piaskowców i zlepieńcówśrodkowokambryjskich (bez najniższej części środkowego kambru). Skały kambru budujące podstawową część gór, miejscami przykryte są utworami czwartorzędowymi, głównie glinami morenowymi i lessami. W Górach Pieprzowych ustanowiono stratotyp środkowokambryjskiej tzw. formacji łupków z Gór Pieprzowych. Skamieniałości w utworach tych gór są skrajnie rzadkie i obejmują nieliczne trylobity (m.in. Paradoxides i Agnostus) i ramienionogi (bezzawiasowe Lingulella oraz zawiasowe) (znaleziska z początków XX w. z kamieniołomu w Kamieniu Łukawskim).
Łupki Gór Pieprzowych – powstałe jako osady w morzu kambryjskim ok. 500 mln lat temu – były poddane intensywnym fałdowaniom w czasie orogenezy sandomierskiej. W dzisiejszym położeniu upad warstw sięga 90° lub nawet przekracza tę wartość, co oznacza, że ławice osadów stoją tu teraz pionowo lub są częściowo przewrócone. Łupki te rozpadają się w procesie wietrzenia w specyficzny sposób, a zwietrzelina barwą i kształtem przypomina ziarna pieprzu.
Pod względem morfologicznym obszar Gór Pieprzowych stanowi wysoką krawędź doliny Wisły, poza którą ciągnie się lekko falista równina, opadająca łagodnie ku południowemu wschodowi. Całość tworzy łagodnie wygięty łuk, skierowany swą wypukłością na południe. Wysokość bezwzględna sięga tu niespełna 200 m n.p.m., natomiast różnica wysokości między płaskim i podmokłym korytem Wisły a krawędzią pasma wynosi 40–60 m. W wyniku specyficznych form erozji łupków wysoki próg Gór Pieprzowych porozcinany jest głębokimi i wąskimi jarami prowadzącymi do doliny Wisły oraz uchodzącymi do nich parowami wymywanymi w pokrywie lessowej, zwanymi przez miejscową ludność rozdołami.
