בארץ הצטרף להגנה והיה בין מייסדי קיבוץ עין גב. הוא עזב את הקיבוץ ב-1940 ועבר לחיפה, שם שימש כקצין ההסברה של ההגנה בעיר ולאחר מכן התמנה לשלישו של מפקד-העיר. בהמשך שימש כשלישו של ראש המטה הכללי של ההגנה, יעקב דורי וכן של ישראל גלילי ויצחק שדה.
אחיו דוד שרד את השואה ועלה ארצה לאחר תום מלחמת העולם השנייה.
בדצמבר 1947 עבר דוד בן-גוריון לגור בתל אביב. ה"הגנה" הפקידה עליו משמר של אנשי פלמ"ח ובראשם עמד ארגוב, שעבד במטה ההגנה ב"בית האדום" ומונה כעבור מספר חודשים לשלישו.[2] עם קום המדינה התמנה לשלישו הצבאי ובינואר 1950 נתמנה למזכירו הצבאי, בדרגות סגן-אלוף ולאחר מכן אלוף-משנה. ארגוב נמנה עם מקורביו של בן-גוריון.
בתחילת 1952 עבר ארגוב קורס מפקדי גדודים וחטיבות ובתחילת 1955 סיים קורס צניחה.
בתקופה בה שהה בן-גוריון בשדה בוקר, החל מדצמבר 1953, לא שימש ארגוב בתפקידו. עם שובו של בן-גוריון לתפקיד ראש הממשלה בפברואר 1955, שב ארגוב לתפקידו.[3]
ב-2 בנובמבר 1957, בדרכו מתל אביב לירושלים, פגע ארגוב במכוניתו בסביבות רמלה ברוכב אופניים, דוד קדוש, נשוי ואב לארבעה ילדים. ארגוב הכניס את קדוש הפצוע למכוניתו ונסע לבית החולים, שם הביעו הרופאים ספקות אם יוכלו להציל את חייו.[3] במשטרה סיפר ארגוב כי עקיצת דבורה בעינו גרמה לו לסטות ולפגוע ברוכב האופניים.
בעקבות האירוע, שם ארגוב בן ה-43 קץ לחייו באותו היום בביתו, ביריית אקדח ברקתו. את גופתו גילה עוזר קצין הביטחון של המשרד, שנשלח לחפש אותו בביתו. לאחר מכן הוזעק למקום ידידו, שמעון פרס.[3] ארגוב נטמן בבית העלמין הצבאי קריית שאול.[4][5]
ארגוב השאיר על שולחנו שני מכתבים, אחד עבור חבריו ואחד עבור בן-גוריון.[6] במכתב לחבריו, ביקש את סליחתם של הקורבן ומשפחתו וציווה להם את כל כספו, משום ש"גם אם דוד קדוש יחיה, מי יודע אם יוכל להמשיך לדאוג למשפחתו".[3] קדוש שרד את התאונה וכעבור זמן החלים מפצעיו, אולם הוא ומשפחתו סירבו לקחת את הירושה. ארגוב סבל מדיכאון או מרה שחורה כבר זמן מה לפני התקרית, בעקבות אהבה נכזבת. יש הקושרים את התאבדותו לצערו בעקבות אירוע השלכת הרימון בכנסת שהתרחש ימים מספר קודם לכן בכנסת, ובו נפצעו קל בן-גוריון וחברי כנסת נוספים. מחשש לבריאותו של בן-גוריון הסתירו ממנו את דבר מותו של ארגוב. העיתונים באותם ימים הדפיסו מהדורה מצונזרת מיוחדת שהתעלמה ממותו הטרגי של ארגוב, ואשר הופצה במתכונת זו רק בבית החולים, כדי שבן-גוריון לא יבחין.[7] ב-5 בנובמבר בישר לו משה דיין את הבשורה המרה. כעבור שבועיים עמד בן-גוריון דום לזכרו על דוכן הנואמים של הכנסת.[3]