היא גדלה ביוסטון, טקסס בשם Johnnie Lucille Collier היות שאביה רצה בן. בילדות סבלה מרככת ואמה אלצה אותה ללמוד לרקוד כדי לחזק את העצמות.
הוריה התגרשו כשהייתה בת תשע והיא עברה עם אמה ללוס אנג'לס. היות שנראתה מבוגרת לגילה, החלה להופיע במועדוני ליילה ואז שינתה את שמן לאן מילר. ב-1937 הופיעה בסרט "דלת הבמה" ורקדה לצידה של ג'ינג'ר רוג'רס.
מילר הייתה נשואה שלוש פעמים. בעת ריב עם בעלה הראשון ריס מילנר, כשהייתה בהיריון בטרימסטר השלישי, הופלה על ידו על המדרגות. הנפילה גרמה ללידה מוקדמת של בתה מרי ששרדה שעות ספורות. מילר מתה מסרטן הריאות וקבורה לצד בתה.