Nach dem Zweiten Weltkrieg arbeitete Olmi als Angestellter im Elektrizitätswerk Edison-Volta in Mailand, wo er 1952 Beauftragter für die Freizeitaktivitäten wurde und etwa vierzig Dokumentarfilme über die Anlage und die Hobbys der Angestellten drehte. Mit den finanziellen Mitteln Edisons konnte er 1959 seinen ersten SpielfilmAls die Zeit stillstand drehen. 1961 folgte Il Posto: Ein junger Mann aus einer armen Familie kommt in die Großstadt (Mailand), um als Angestellter für eine große Firma zu arbeiten. 1963 führte Olmi Regie bei The Fiancés, in dem er ein verlobtes Paar begleitet, das durch den Job, den der Verlobte annehmen muss, für 18 Monate getrennt wird.
Obwohl Olmi selbst seine Arbeit als Antwort auf den italienischen Neorealismus begriff, passen seine Filme in dieses künstlerische Konzept. In den Filmen treten, wie in vielen Filmen des Neorealismus, Laiendarsteller an Originalschauplätzen auf. Sie sind in langen, langsamen Einstellungen gedreht und kommentieren die soziale Realität unterer Klassen, obschon sich die Neorealisten mit der Äußerung einer dezidierten politischen Meinung eher zurückhalten. Olmis Weigerung, seine Figuren zu karikieren oder herablassend zu behandeln, seine offensichtliche Zuneigung zu seinen Charakteren und ihrer Umwelt, machen es schwer, ihn einzuordnen.
Es kam ein Mensch: Auf den Spuren von Johannes XXIII von 1964 war sein erstes bewusst kommerzielles Werk. Ein gewisser Tag (1969) handelt von einem problembehafteten Mittelklassecharakter, mit I Recuperanti lieferte er 1970 eine Neuauflage von Als die Zeit stillstand. 1978 wurde Olmi auf den Filmfestspielen von Cannes für Der Holzschuhbaum mit der Goldenen Palme ausgezeichnet. 1979 wurde dem Film mit einem César für den besten ausländischen Film ein weiterer bedeutender Preis verliehen. Olmi erzählt in dem Film vom Leben auf einem Landgut in der Lombardei des 19. Jahrhunderts: Arme Familien leben in Abhängigkeit vom Gutsbesitzer. Obwohl es ein großes Opfer bedeutet, schicken sie eines ihrer Kinder zur Schule.
In den folgenden Jahren drehte Olmi nur wenige Filme. 1988 erhielt er für Die Legende vom heiligen Trinker nach der gleichnamigen Novelle von Joseph Roth auf den Filmfestspielen von Venedig den Goldenen Löwen. Olmi zeigt in diesem Meisterstück filmischer Erzählkunst einen alkoholkranken Stadtstreicher in Paris, dem ein Fremder 200 Francs leiht, mit der Auflage, das Geld, sobald er es sich leisten könne, einer Kapelle zu spenden. Der Film entstand nach dem Drehbuch von Tullio Kezich, mit dem Olmi bereits in den 1960er-Jahren wiederholt zusammengearbeitet hatte.
1996 wurde im deutschen Fernsehen Olmis 1993 produzierte BibelverfilmungDie Bibel – Genesis ausgestrahlt. Seinem Stil treu verzichtete er auch hier zugunsten einfühlsamer Erzählstränge auf Spezialeffekte und Starbesetzung. Lediglich der Hauptdarsteller Omero Antonutti kommt aus einem modernen, westlichen Land, die anderen Schauspieler waren Einwohner des Drehortes in Marokko; Nomaden, die noch leben wie in biblischer Zeit.
Sein Film Der Medici-Krieger gewann 2002 in neun Kategorien den David di Donatello, unter anderem für die beste Regie, das beste Drehbuch und den besten Film.
Ermano Olmi war mit der Schauspielerin Loredana Detto verheiratet, die 1961 in seinem Drama Der Job die Hauptrolle spielte. Aus der Ehe ging Sohn Fabio Olmi hervor, der als Kameramann tätig ist und mit seinem Vater an dem 2001 entstandenen Abenteuerfilm Der Medici-Krieger zusammenarbeitete.
