Das Ortsbild ist geprägt von Bauernhöfen sowie der im Jahr 1497 erbauten, nach Brand 1690 im Stil des Barock wiederhergestellten und 1773 vergrößerten Expositurkirche St. Martin und dem mit Linden bepflanzten Dorfanger. Eine Neubau-Siedlung wurde um 1960 auf einem ehemaligen Schutzwall der Römer, dem Mühlberg, erschlossen.
Die erste urkundliche Erwähnung Haardorfs stammt aus dem Jahr 1148. Dort wird der Ort als Standort für den Weinanbau des Klosters Niederalteich erwähnt. Im oberen Dorf erhebt sich ein runder Turmhügel (Turmhügel Haardorf), auf dem sich die im Jahr 1259 fertiggestellte Wallfahrtskirche zum Kreuzberg befindet. Die Wallfahrt wurde vom Kloster Osterhofen betreut. Nach dessen Auflösung 1783 war Haardorf vorübergehend Pfarrei, wurde aber 1818 zur Expositur herabgestuft. Das mittelalterliche Gnadenbild ist bis heute erhalten geblieben und kann zur Andacht oder zur Besichtigung aufgesucht werden.