קולמיינן נולד בקואופיו. הוא היה צמחוני ובנאי במקצוע. שני אחיו הבוגרים, אוגוסט ויאימי "וילי" וטאבטי הייקי "טאטו" היו אף הם אתלטים אולימפיים למרחקים ארוכים. וילי קבע בשנת 1912 את הזמן המהיר בעולם בריצת מרתון. האחים התאמנו ביחד בריצה למרחקים ארוכים וכן בסקי למרחקים.
כמו אחיו תחילת הקריירה של קולמיינן החלה בריצת מרתון. הריצה הראשונה שלו הייתה בשנת 1907 כשסיים במקום השלישי בתחרות בפינלנד. בשנת 1909 רץ 8 פעמים את ריצת המרתון. התוצאה הטובה ביותר שלו הייתה 2.42:59 שעות. לאחר מכן הוא הפסיק לרוץ מרתון מספר שנים והתמקד בתחרויות למרחקים ארוכים באצטדיון. בשנת 1911 הוא ניצח ב-22 מתוך 22 תחרויות שבהן השתתף, כולל אליפות בריטניה ל-4 מייל, התחרות הבינלאומית הגדולה הראשונה שבה ניצח. ב-10 ביוני 1912 הוא קבע שיא אישי בריצת 3 מייל של 14:31.2 דקות והוכיח שהוא מוכן למשחקים האולימפיים.
שיא התהילה
התהילה של קולמניין החלה באולימפיאדת סטוקהולם (1912) כשזכה ב-4 מדליות, שלוש מהן זהב והיה לאתלט הגדול הראשון בהיסטוריה של המשחקים האולימפיים שזכה במספר מדליות זהב. מדליות זהב בריצת 5000 מטר בשיא עולם חדש של 14:36.6 דקות, לאחר ריצה צמודה עם שיאן העולם ז'אן בואה מצרפת (14:36.7 דקות) שיפור של 25 שניות לשיא העולם הקודם, בריצת 10000 מטר בשיא עולם חדש נוסף של 31:20.8 דקות, 46 שניות לפני לואיס טואונימה מארצות הברית ובריצת שדה בתוצאה של 45:11.6 דקות ומדליית כסף בריצת שדה קבוצתית. בנוסף, בריצת 3000 מטר קבוצתית הוא קבע שיא עולם חדש 8:36.9 דקות, בשלב המוקדמות אך קבוצתו סיימה במקום הרביעי. באותו הזמן פינלנד הייתה עדיין חלק מרוסיה אבל השתתפה בנפרד במשחקים האולימפיים. הדגל הרוסי התנוסס בטקס הניצחון וקולמיינן אמר ש"הוא כמעט ציפה שהוא לא ינצח".
לאחר האולימפיאדה עבר קולמיינן לארצות הברית, שם התאמן והתחרה עבור שני מועדונים, במועדון האתלטיקה האירי-אמריקאי ובמועדון האתלטיקה הפיני אמריקאי. בשנים 1912, 1913 ו-1915 הוא זכה באליפות ארצות הברית בריצת 5 מייל. לאחר מכן קיבל אזרחות אמריקאית.
עקב מלחמת העולם הראשונה, בוטלה אולימפיאדת ברלין של 1916 וכך הקריירה של קולמיינן ושאר האתלטים הופרעה. מתחרהו, בואה מצרפת נהרג ב-29 בספטמבר 1914, בתקרית בתחילת המלחמה.
באולימפיאדת אנטוורפן (1920) זכה קולמיינן במדליית זהב בריצת מרתון (המרתון הארוך בהיסטוריה של המשחקים האולימפיים 42.75 ק"מ), בזמן המהיר ביותר שהושג בריצה זו (במרתון, אין שיאי עולם) של 2.32:35.8 שעות.
לאחר המשחקים האולימפיים שב קולמיינן לפינלנד וב-10 באוקטובר אותה שנה קבע בריצת 25 ק"מ שיא עולם חדש של 1.26:29.8 שעות. ב-22 ביוני 1922 הוא שיפר את שיאו העולמי בריצה זו (1.25:20.0 שעות). לאחר מכן, ב-1 באוקטובר אותה שנה הוא קבע בריצת 30 ק"מ שיא עולם חדש של 1.47:13.4 שעות.
קולמיינן זכה בכבוד להדליק את הלפיד האולימפי בטקס הפתיחה של אולימפיאדת הלסינקי (1952) ביחד עם פאבו נורמי (נחשב לאחד הספורטאים האולימפיים הגדולים ביותר אי פעם, 12 מדליות אולימפיות, מהן 9 זהב), כבוד השמור מסורתית לגדולי הספורטאים של האומה המארחת.
קולמיינן באולימפיאדת סטוקהולם (1912)קולמיינן (שמאל) מנצח את ז'אן בואה מצרפת, בריצת 5000 מטר באולימפיאדת סטוקהולם
