Issu d'une famille d'agriculteurs, Joseph Dixmier suit des études secondaires jusqu'au baccalauréat, qu'il obtient peu avant d'être mobilisé pour participer à la première guerre mondiale. Il est gazé pendant les combats, et après la guerre, sera un des fondateurs de la Fédération des gazés et invalides de guerre, dont il assurera un temps la présidence.
Rendu à la vie civile, il reprend l'exploitation familiale. Il est élu conseiller municipal et maire-adjoint de Varennes en 1919, mais c'est surtout dans le monde agricole qu'il est engagé, à la fois dans les coopératives, la mutualité et le syndicalisme. Selon certaines sources, il aurait été membre du Parti social français à la fin des années 1930.
Elu maire de sa petite commune en 1945, mandat qu'il conserve jusqu'en 1971, il accède cette même année au conseil général du Puy-de-Dôme, étant élu dans le canton d'Ennezat.
Candidat à l'élection de la première assemblée constituante sur la liste de droite menée par Jacques Bardoux, il n'est pas élu.
En juin 1946, dans les mêmes conditions, les progrès de sa liste lui permette d'être élu député, mandat qu'il conserve toujours dans les mêmes circonstances, en novembre 1946.
Bien que déposant peu de textes, il est très actif dans les débats, essentiellement lorsque les questions agricoles sont abordées. Il s'oppose notamment à ce qu'il considère comme du dirigisme dans la gestion de l'agriculture, et développe un discours teinté d'anti-fiscalisme.
En 1951, il est encore candidat sur la liste menée par Bardoux, et de nouveau réélu. En juin 1953, il est désigné comme porte parole du groupe du Centre républicain pour apporter son soutien à l'investiture d'André Marie.
En 1956, il est réélu en tête de la liste soutenue par le CNI.
Candidat aux législatives dans la 5ème circonscription en novembre 1958, il n'obtient, du fait de la division de la droite, que 20 % des voix au premier tour. Il l'emporte cependant au second avec 47 % des voix, à la faveur d'une triangulaire.
Au contraire de Valéry Giscard d'Estaing, qui avait été élu député en 1956 sur la liste menée par Dixmier, celui-ci s' éloigne très rapidement du soutien à la politique gouvernementale. En 1962, il s'abstient lors du vote d'investiture de Michel Debré. Trois ans plus tard, il vote contre celle de Georges Pompidou et, logiquement, vote la motion de censure du 4 octobre, qui provoque des législatives anticipées.
Il n'obtient que 14,9 % des voix au premier tour, et, du fait du maintien du candidat gaulliste, il est battu par le communiste Eugène Fourvel au second tour.
Joseph Dixmier se retire alors progressivement de la vie politique. Il quitte le conseil général en 1964, puis ne se représente pas aux municipales de 1971.