בית העלמין משתרע על פני שטח של כ-7,500 מ"ר, צורתו אליפטית והוא מחולק לעשרה אגפים. במקום כאלפיים קברים אך קיימות מצבות רק מעל כ-805 מהם, וייתכן שהיתר אבדו בעת גירוש תל אביב. עוד נקברו בבית העלמין גווילי ספרי תורה שהובאו מן הגולה ונשרפו בדליקה שפרצה במחסני הסוכנות היהודית בנמל יפו.
למן העת החדשה המאוחרת ועד אמצע המאה ה-19 נהגו היהודים להוביל לרוב את מתיהם לקבורה בהר הזיתים בירושלים ולאחר מכן בפתח תקווה[1]. כמו כן חלק מהנפטרים נקברו בבית הקברות משותף למוסלמים ויהודים שמעבר לחפיר חומת יפו[2]. לבסוף נכנעו בני הקהילה לקשיים ולעוגמת הנפש הכרוכים במנהג, מה עוד שהחל משנות ה-30 כבר התקיימה קהילה יהודית ביפו כך שבשנת 1834[3], בהנהגתו של רב הקהילה יהודה מרגוזה, רכשו חלקת שדה בעיר שנועדה לשמש כבית עלמין. בין הסיבות שבגינן לא נקברו יהודים בבית קברות מסודר בעיר יפו מציינים כי אלו אשר החמירו להגיע מהניכר בחייהם או לאחר מותם כדי להיקבר בארץ ישראל, השתדלו להיקבר בירושלים או באחת מארבע ערי הקודש בעוד שמעמדה של יפו בהקשרים פנים הלכתיים בנוגע לקדושת הארץ הוא שנוי במחלוקת. והיו לכך סיבות טכניות נוספות הן מצד השלטונות והן מצד הנהגת היישוב היהודי עד לאותה תקופה.
הקבורה במקום החלה בשנת 1839, ומועד זה נחשב לראשיתה של החברה קדישא בעיר. קבורת מתים במקום נמשכה באופן רשמי עד שנת 1920, אך הלכה למעשה היה המקום בשימוש עד שנת 1928. רק ב-1902 פסקה הקבורה במקום באופן זמני בשל מגפת כולרה שפרצה בעיר. השלטונות העות'מאנים אסרו על קבורת המתים בבית העלמין ששכן באזר בנוי, ותחת זאת הקצו שטח חולי מצפון לעיר, שהיה לימים לבית הקברות טרומפלדור. הקבר הידוע ביותר במקום הוא של הרב יהודה מרגוזה שנפטר ב-1879. מאוחר יותר נקרא הרחוב הסמוך על שמו.
הנקבר האחרון בבית הקברות היה ד"ר ישעיהו-שי גור, מנהל השירותים הווטרינריים של מדינת ישראל, בנו של המילונאי העברי יהודה גור (גרזובסקי) וחתנו של טוביה זיסקינד מילר, מראשי עסקני התאחדות האיכרים[4].
"מסדרי רשימת הנעדרים השוכנים כבוד בבית-העלמין העתיק ביפו ראויים להיזכר כאן בהוקרה. אולי זה המקום היחיד בכל הארץ, אשר הנהיגו בו בראשית היישוב לרשום בסדר בדיקנות את הנפטרים על-פי אלפא-ביתא פנימית מפליאה, ותאריך מותם ושמותיהם, כל מין ומין לחוד. יפו היהודית בפרק הראשון של תולדותיה לא ביישה בשום פנים את תל אביב, עם ישובה הצעיר והרענן, היסודות למסורת הונחו עוד מאז, ועל-פי כיוונם הבהיר של העסקנים ההם נמשכת העבודה הענפה ורבת-החשיבות והתוצאות... ואנכי בטוח שכל המעוניינים בקורות היישוב היהודי ביפו יכירו לו תודה נאמנה על כך"[5].
בין האישים הקבורים במקום נמנים רבים ממייסדי יפו ודמויות בולטות נוספות בהן:
ד"ר שמעון פרנקל - הרופא העברי הראשון. נקבר במקום ב-11.1.1880.
רבים מפועלי מושבות העלייה הראשונה שחלו ונפטרו בבית החולים ביפו נטמנו בבית הקברות, חלקם ללא מצבה. בתחילת מלחמת העולם הראשונה המשטר העות'מאני גזר פינוי על בית הקברות לטובת בניית רחוב וגן. בני יפו והמושבות לקחו את עצמות מתיהם וקברום מחדש במושבותיהם, כמו מאיר בלקינד, מראשוני המורים לעברית בגולה ואביו של מייסד תנועת הביל"ויים ישראל בלקינד, נקבר כאן בשנת 1898 ולאחר גזרת השלטונות, הועברו עצמותיו לראשון לציון.[8]
עם זאת, הקברים האלמונים נשארו למדרס לרגלי העוברים[9].
