נמני הצטרף בגיל 9 למחלקת הנוער של מכבי תל אביב, וכבר מההתחלה כישרונו בלט והוא השתתף במשחקים של קבוצות גיל הגדולות ממנו במספר שנים. כשהיה בקבוצת הנוער של מכבי תל אביב זומן נמני לנבחרת האולימפית על ידי צמד המאמנים יצחק שניאור ויעקב גרונדמן (ש"ג). את הבכורה בקבוצה הבוגרת עשה בעונת 1989/1990 תחת אימונו של ניסים בכר, כשעלה לשחק במשחק הליגה נגד הפועל כפר סבא. כבר במשחקו הראשון בקבוצה הבוגרת היה נמני רכיב מרכזי בניצחון, כאשר בישל שער ונשרק פנדל לזכות קבוצתו לאחר עבירה עליו. בעונת 1990/1991 הפך נמני לשחקן הרכב, כאשר צבי רוזן הפקיד בידיו את הקישור ההתקפי של הקבוצה. במהלך אותה עונה כבש נמני את שערו הראשון במדי מכבי תל אביב במשחק נגד מכבי שעריים במסגרת גביע הטוטו, ואת שערו הראשון בליגה הראשונה במשחק נגד הפועל ירושלים. שערים אלו היו הראשונים מתוך 174 שערים שכבש נמני במדי מכבי תל אביב, אשר שמים אותו בראש טבלת מלך השערים של הקבוצה בכל הזמנים.
עונת 1995/1996 הייתה מוצלחת במיוחד עבור נמני ומכבי תל אביב, כאשר זכה עם הקבוצה בדאבל. במחזור ה-26 יצאה מכבי תל אביב למשחק חוץ באצטדיון קריית אליעזר נגד מכבי חיפה מולה התמודדה על תואר האליפות. באותו משחק כבש נמני שער בדקה ה-80, ובכך עזר לקבוצתו להשלים ניצחון 3:1 חשוב בדרך לתואר. במחזור ה-29 נפגשה מכבי נגד בית"ר ירושלים במשחק שבו נקודה מספיקה לקבוצה כדי להבטיח את האליפות. בדקה ה-54 קיבל נמני מסירה מניר קלינגר, נכנס לתוך הרחבה ועבר את שוער בית"ר איציק קורנפיין, ומזווית קשה כבש את שער הניצחון (0–1 למכבי תל אביב).[1] במשחק גמר גביע המדינה נגד עירוני ראשון לציון היה נמני אחד מהכובשים לזכות מכבי. לקראת סוף עונת 1996/1997, במהלך משחק נגד נבחרת בלארוס, כבש נמני את שערו הראשון מתוך 17 במדי נבחרת ישראל.
בעונת 1998/1999 עבר נמני לשחק בקבוצת אתלטיקו מדריד הספרדית, אולם לאחר 7 הופעות בלבד במדי הקבוצה ובעקבות פציעה, חזר נמני למכבי תל אביב עוד במהלך אותה עונה, וזכה איתה בגביע הטוטו השני שלו. בתחילת שנת 2000 הושאל נמני לקבוצת דרבי קאונטי האנגלית להתרשמות. לאחר 4 הופעות ואף על פי שכבש שער במדיה, החליטה הקבוצה שלא לרכוש אותו והוא שב למכבי תל אביב.
בתחילת עונת 2000/2001 מונה שלמה שרף למאמן מכבי תל אביב. בעקבות המשחק במחזור השני נגד הפועל חיפה, פרץ ריב בין נמני לשרף, שבעקבותיו פוטר שרף. לאחר המהלך חתם ניר לוין בקבוצה, ואיתו זכה נמני בגביע המדינה פעם נוספת לאחר ניצחון על מכבי פתח תקווה שבו כבש נמני את השער השלישי במשחק. בעונה זו זכה גם בתואר מלך השערים של ליגת העל עם 25 כיבושים. בעונת 2001/2002 זכה נמני בגביע מדינה נוסף לאחר דו-קרב בעיטות עונשין נגד מכבי חיפה, שבו נמני כבש את הפנדל האחרון שהעניק למכבי את הגביע.
בעונת 2002/2003 התמנה ניר קלינגר למאמן מכבי תל אביב. במהלך רוב העונה היה נמני לשחקן ספסל שבחלק מהמשחקים אף לא שיחק כמחליף, אך לקראת סוף העונה נפצע ברוך דגו, ונמני חזר להרכב הקבוצה ואף הוביל אותה לאליפות נוספת, הרביעית של נמני תוך כדי שהוא כובש 6 שערים ב-3 מחזורי הסיום של העונה.[1]
התקופה בבית"ר ירושלים
למרות האליפות עם מכבי תל אביב, ב-13 באוגוסט2003 החליט קלינגר להדיח את נמני מהקבוצה יחד עם טל בנין, בטענה שגרמו למחנאות בקבוצה ועקב כך פתח חלק מאוהדי מכבי תל אביב במחאת "החולצות השחורות" (שנמשכה עד לחזרתו של אבי נמני לשורות מכבי תל אביב). נמני הצטרף לקבוצת בית"ר ירושלים, בה שיחק שתי עונות.[2] בעונת 2003/2004 כבש נמני שמונה שערים ובישל שישה. בפברואר2004 פגש נמני בקבוצת האם שלו במשחק באצטדיון טדי. ביציעים היו 20 אלף אוהדים שמתוכם כ-5 אלף אוהדי מכבי תל אביב, ולפרקים כלל האוהדים באצטדיון עודד את נמני. בעונת 2004/2005 הגיע עם בית"ר ירושלים לחצי גמר גביע המדינה, בליגה כבש 12 שערים ובישל אחד, והיה למלך השערים של הקבוצה.
החזרה למכבי תל אביב
בעונת 2005/2006 חזר נמני למכבי תל אביב ואליו הצטרפו גם אייל ברקוביץ' וג'ובאני רוסו.[3] את עונה זו סיים בראש טבלת מלך השערים של מכבי תל אביב. ב-25 באוגוסט2007 כבש נמני את שערו ה-194 והאחרון בליגה הראשונה במסגרת המחזור השני של ליגת העל בעונת 2007/2008 נגד מכבי פתח תקווה, ובכך עבר את משה (קיש) רומנו במקום השלישי בטבלת מלך השערים של כל הזמנים. לאחר ששיחק בחמשת המחזורים הראשונים לא נכלל נמני בסגל הקבוצה במשחקים הבאים ואף חדל להתאמן, אולם לאחר שאוהדים רבים הפצירו בו להופיע למשחק פרישה, ב-17 במאי2008 עלה נמני לשחק בפעם האחרונה כשנכנס בתוספת הזמן מול מכבי פתח תקווה לקול תשואות הקהל. מאז פרישתו, על אף שהדבר לא הוכרז רשמית על ידי מכבי תל אביב, אף שחקן לא זכה לשחק במדי המועדון עם הספרה 8 על הגב, והלכה למעשה הספרה "הופרשה" יחד עם נמני באותו משחק.
שיאים אישיים
נמני הוא כובש השערים המצטיין של מכבי תל אביב בכל הזמנים עם 174 שערים בליגה הראשונה ב-379 משחקי ליגה. הוא גם ממוקם במקום השלישי בטבלת מלך השערים של כל הזמנים עם 194 כיבושים ב-429 משחקים. כמו כן כבש 17 שערים ב-80 הופעות בנבחרת ישראל, בה שיחק לראשונה בגיל 20. במוקדמות מונדיאל 2006 חלק את תפקיד קפטן הנבחרת יחד עם אריק בנדו וסיים כסגן מלך השערים של הנבחרת עם שער אחד פחות מיוסי בניון. במהלך הקריירה שלו זכה נמני בארבע אליפויות, ארבעה גביעי מדינה ופעמיים בגביע הטוטו, כולם עם מכבי תל אביב.
קריירת אימון
בתחילת עונת 2007/2008 שימש נמני בתפקיד ניהולי במכבי תל אביב (ג'נרל מנג'ר) והיה אחראי בין השאר על המשא ומתן עם שחקנים במקביל לקריירת המשחק שלו. בעונת 2008/2009 מונה נמני למנהל הספורטיבי. בנובמבר2008 פוטר המאמן רן בן שמעון, ונמני, 6 חודשים לאחר פרישתו ממשחק פעיל ואף על פי שאין ברשותו תעודת מאמן, מונה למנג'ר הקבוצה, כשתחתיו המאמן מרקו בלבול. נמני הוליך את מכבי תל אביב לזכייה בגביע הטוטו. באוקטובר 2009 עזב המאמן מרקו בלבול והחל מחודש נובמבר שימש בתפקיד ניר לוין וזאת על מנת למלא את הוראת אופ"א המחייבות לפחות מאמן אחד עם תעודת פרו.
לקראת תחילת עונת 2010/2011, הוביל אבי נמני שינוי כולל במערכת של מכבי תל אביב. יחד עם בעלי הקבוצה מיטשל גולדהאר, נמני הרכיב סגל חדש בקבוצה בתקציב שיא של למעלה מ-100 מיליון שקלים.[4] לצוות המקצועי צורף יוסי מזרחי, ונמני חזר לעמדת המנהל המקצועי של הקבוצה. ב-4 בינואר2011 פוטר נמני מתפקידו על ידי גולדהאר.[5]
כסוכן שחקנים
לאחר עזיבתו את הקבוצה, פתח נמני בקריירה של סוכן שחקנים. ב-28 במרץ2011 הקים נמני את חברת "נימ-גרופ ספורט מנג'מנט בע"מ",[6][7] זאת במקביל לעבודתו כפרשן בכלי תקשורת שונים. נמני משמש לעיתים קרובות כפרשן גם במשחקים בהם משחקים שחקנים המיוצגים בסוכנותו, פעולה שעוררה ביקורת ודרישה לגילוי נאות.[8] הוא עובד בסוכנות בשיתוף עם עו"ד גיא פרימור שהוא סוכן מורשה מטעם פיפ"א והם מייצגים שחקנים בכירים רבים בישראל.[9]