יוסף גולנד נולד לחיים, סוחר במוצרי חשמל, ולחסיה לבית צ'רנאבסקי בקרמנצ'וג שבדרום-מערב האימפריה הרוסית (כיום באוקראינה) כבן הזקונים למשפחת זמרים ומוזיקאים בת שישה ילדים. כילד למד בחדר, התעניין והשתתף בשיעורי הזמרה של אחיו הגדול יצחק.
הוא ניחן בקול טנור ערב ובגיל שמונה הופיע לראשונה בקונצרט. בגיל עשר הצטרף לתנועת מכבי והקים בגיל 14 עם חברים מן הגימנסיה קבוצת תיאטרון. הקבוצה הופיעה בעיקר בפני ילדים וההכנסות שימשו לקניית מזון לילדים נזקקים. בנוסף, הופיעה הקבוצה אף בפני הצבא האדום במהלך מלחמת האזרחים ברוסיה.
בשנת 1924, בגיל 17, עלה לארץ ישראל עם הוריו ואחותו בעקבות אחיו שלמה, שעלה ארצה בשנת 1920. הוא הצטרף לאחיו, שניהל קבוצת פועלים לסלילת כבישים. גולנד נמנה עם השחקנים הראשונים בתיאטרון האהל (בימים עבד ובערבים ערך חזרות ולמד תפקידים). ב"האהל" הופיע בהצגות 'נשפי פרץ", "יעקב ורחל" "ירמיהו".
עקב התגברות הנאציזם בעיר, שב ארצה בשנת 1932, הקים תזמורת ג'אז ושר פזמוני ג'אז שמילותיהם תורגמו לעברית על ידי נתן אלתרמן.
בשנת 1933 הצטרף גולנד לתיאטרון המטאטא. השיר ששר על במת המטאטא "דודה הגידי לנו כן", למילים של עמנואל הרוסי ולמנגינה של משה וילנסקי, הפך ללהיט והוקלט בתקליט הראשון של זמר עברי שהופיע בארץ.
בשנת 1934 נבחר על ידי דב מייבלט, בעל חברת התקליטים "אחוה" (הראשונה מסוגה ביישוב), לשיר 30 שירים מהרפרטואר המתהווה של הזמר העברי בעיבודו של משה וילנסקי. כיוון שבארץ לא היה אז אולפן הקלטות יצא גולנד בפברואר 1934 לברלין, שם נעזר באחיו לצורך מציאת אולפן. כל 30 השירים הוקלטו ביום אחד, בליווי להקה מתוך תזמורת ה"קולטורבונד" היהודית בניצוחו של החצוצרןזיגפריד פטרושקה. באותה שנה זכה גולנד במדליית הזהב ביריד המזרח על שירתו.
בשנת 1935 הקליט בחברת התקליטים הבריטית "דֶקָה" (Decca Records) שירים עם משה וילנסקי.
בשנת 1937 יצא לבקשת הקק"ל לסיבוב הופעות בבלגיה עם הרקדנית נעמי ליף והמשיך לסיבוב הופעות בפני יהודי פולין, ליטא ולטביה. באותה שנה הופיע גולנד בזמרתו בסרט הקולנוע העברי "זאת היא הארץ".
בשובו ארצה בשנת 1938, הופיע גולנד באופרות ואופרטות במסגרת האופרה הארצישראלית העממית. באותה שנה הופיעה הרקדנית מיה ארבטובה בקפה "סמדר", ושם הכירה את גולנד. השניים נישאו בשנת 1943, ובשנת 1953 נולדה בתם היחידה, עפרה.[2] השניים ייסדו יחד עם מיכאל גור קברט בשם "אף-על-פי". על להיטיו בשנות ה-30 וה-40 נמנו "קדימה השוטר", "איזה פלא" ו"טנגו תל אביב".
ארבטובה וגולנד החלו להופיע בתיאטרון לי-לה-לו עם הקמתו בשנת 1944.[3]
בשנת 1960 הופיע יוסף גולנד במופע "היה היו זמנים - מצעד פזמוני היישוב". בשנת 1967 הופיע בסרטו של ג'ורג' עובדיה "הנחשקת".
שיריו הידועים ביותר היו: "דודה הגידי לנו כן", "רינה", "שיר המשטרה" ו"שיר הספן" ("באוניה קוראים לי דב המים").
הופעתו האחרונה התקיימה בדצמבר 1973, בכנס של המשטרה בבנייני האומה. גולנד נפטר שבוע לאחר הופעתו בתל אביב ממחלה ממארת ונטמן בבית עלמין הדרום. הוא הותיר אחריו את רעייתו, מיה ארבטובה, ובתם המשותפת עפרה (נולדה ב-1953).
ב-2013 הונחה לוחית זיכרון על ביתם של יוסף גולנד ומיה ארבטובה בתל אביב.
בתחילת 2015 הופיע לראשונה אוסף משיריו על גבי תקליטור.