שירת בפלמ"ח משנת 1944, הצטרף לפלוגה הימית של הפלמ"ח, עבר קורס מפקדי סירות והשתתף בפעולות העלאת עולים לארץ ישראל. בשנת 1947 עבר קורס חובלים של הפלי"ם. תפקידיו העיקריים בפלמ"ח היו קצין חבלה ומפקד הבסיס בסידנא עלי. בתחילת השירות בפלי"ם קיבל את הכינוי אסקימו. היה זה לאחר שתיאר את הרגשתו ביציאה מצלילה בליל חורף. השירות הביטחוני המוקדם של בן יוסף נמשך 4 שנים לפני גיוסו לצה"ל.
חיל הים ושייטת 13
עם הקמת השירות הימי עבר הפלי"ם כיחידה אליו. בסיס סידנא עלי בפיקודו של בן יוסף נעשה בסיס הגיוס העיקרי של חיל הים. בן יוסף ראה שהמצרים פועלים בחופי הדרום באין מפריע והציע להקים מחדש את החוליה לחבלה ימית. גם גרשון זק הגיע באותה עת למסקנה שלחיל הים דרושה יחידת קומנדו. בתחילת חודש יולי קיבל בן יוסף בית ספר ערבי נטוש בשכונת ג'בליה ביפו – הבית הירוק – והחל לרכז מתנדבים ליחידה. אנשיו קיבלו את הכינוי הקומנדו של אסקימו וגם "יחידת המתאבדים" בגלל הסכנה הרבה שהייתה כרוכה בהשתתפות בפעולותיה. אנשיה ביצעו משימות מיוחדות שכללו צלילה.
מפקדת חיל הים במלחמת העצמאות שכנה ברחוב הירקון בתל אביב. בעת פרשת אלטלנה הייתה במרכז המהומה. בן יוסף היה אחראי על האבטחה. אנשיו ירו באוויר כדי להבריח תוקפים.[1] חיל הים החליט שמעגן הדיג בקיסריה העתיקה יהיה מקום מתאים יותר ליחידת הקומנדו. והיא עברה לשם על כל ציודה ואנשיה. יוסף דרור, שנמצא אז באיטליה, קנה שם מכשירי צלילה מבצעית ובן יוסף החל להדריך את אנשיו בצלילה. הם לא תפעלו נכון את המכשירים ואבקת הסודה גרמה לו כוויות.
בשנת 1950 צורף בן יוסף לצוות הקצינים של אח"י אילת (א-16) שביצעה הפלגה ארוכה לאיי יוון עם חניכי גדנ"ע ים. אימון החניכים שימש כיסוי למטרה האמיתית שהייתה לאתר מפרצים מתאימים למסתור ומקומות מחבוא למזון. בסיומה הגיש בן יוסף תיק מסודר הכולל תצלומים ושרטוטים של המפרצים שנבדקו.[2]
בן יוסף היה קצין מודיעין בשייטת 13 ולאחר מספר שנים עבר לשמש כקצין מבצעים.
בעת מלחמת סיני נשלחו ב-14 בנובמבר שתי ספינות דיג מגויסות להביא עולים מנמל פורט סעיד. הספינות הוסוו כספינות איטלקיות "קאסטלה מארה" ו"אפרודיטה". על הספינות נמצאה קבוצת לוחמים משייטת 13 בפיקודו של בן יוסף. ספינות הדיג נכנסו לפורט פואד לפנות בוקר של יום שבת, 17 בנובמבר. תוך מספר דקות הועברו אליהן העולים ומיד יצאו לים.
בעת ההפלגה לחיפה הרוח הצפונית הרימה גלים עד שני מטר. לצוותי הספינות היה זה מצב רגיל אך מרבית העולים הרגישו מחלת ים. בן יוסף טיפל אישית בתינוקת שאמה חשה ברע והרגיע אותה. למחרת, ב-18 בנובמבר לפנות בוקר, הגיעו הספינות לנמל חיפה.
מפקד טרפדת
בשנת 1958 עבר בן יוסף לפלגות הטרפדות ושירת כמפקד טרפדת ט-204.
מפקד קורס קצינים כללי
בן יוסף הועבר לבה"ד חיל הים כמפקד קורס קצינים כללי. בתפקיד זה היה מפקדהּ של קבוצת קציני משטרה ימית של טנזניה.
פיקוד שייטת 13
ראש הממשלה לוי אשכול סוקר את מסיימי קורס הלוחמים צוללים. בליווי מפקד חיל הים יוחאי בן נון ומפקד שייטת 13 אהרון בן יוסף. קיצוני משמאל בצדודית עמי אילון, 13 אוקטובר 1965.
בשנת 1961 עבר בן יוסף את קורס פו"ם ד' שכלל שנה א' בחוג לגאוגרפיה באוניברסיטת תל אביב. בתום הקורס הועבר לשייטת 13 כסגנו של מפקד השייטת, דב שפיר. בתפקיד זה היה בן יוסף איש ארגון מעולה. הייתה לו גם יכולת טובה ליישר הדורים בנעימות, אך היה קשוח בדרישותיו והכין את השייטת למלחמה.
ביוני 1965 קיבל את הפיקוד על שייטת 13. במהלך הפיקוד ביצעה השייטת פעולות מבצעיות בחופי אויב בדרך כלל מוצלחות. בסוף שנת 1966 הייתה השייטת במתח רב לביצוע פעולות רבות בו זמנית כאשר כל חיל הים מגבה את פעולת השייטת. הדבר לא יצא אל הפועל והשייטת המשיכה באימונים והכנות לתת מכת פתיחה במלחמה עתידית.
בתחילת שנת 1967 הגיע בן יוסף למסקנה שאינו יכול להמשיך ולפקד על השייטת. הדבר נבע מכך שלא יכול היה לבצע בעצמו את הפעילות הנדרשת. נוצר מצב שקציני היחידה העריכו את אישיותו אך לא סמכו על יכולתו המבצעית. בנוסף החל בן יוסף לסבול מבעיות רפואיות. הוא היה מודע לנבצרותו וביקש לסיים את תפקידו. ב-10 באפריל הוחזר דב שפיר מלימודים בצרפת וקיבל את הפיקוד על השייטת מסגן המפקד ראובן פנחס.[3]
סא"ל אהרון בן יוסף מארח את דוד בן-גוריון בביתן חיל הים, בתערוכת צה"ל, אוגוסט 1967
