בשנת 1960 הועבר לשרת במוסד למודיעין ולתפקידים מיוחדים, שבו שירת ברציפות במשך 35 שנה, בשורת תפקידים מבצעיים ותפקידי מטה. בין היתר, שימש בתפקיד ראש שלוחת "הצומת" בצרפת, סגן ראש מוקד "תבל" באירופה ועוד. במשך שנות שירותו עמד בראש שלושה אגפים - אגף ההדרכה, האגף לקשר והצלת יהודים מארצות מצוקה ("ביצור") בשנים 1985–1990, אשר במהלכן נמשכו מבצעי העלאת יהודי אתיופיה במבצעיים חשאיים מסודאן לישראל, ואגף "תבל" המופקד על הקשרים הבינלאומיים של המוסד. בתקופתו כראש "תבל" (1990 - 1995) הוקמו, חודשו, ובוססו הקשרים הבינשירותיים עם מרבית המדינות שמעבר למסך הברזל, הכוללות את רוסיה, סין, אוקראינה, אזרבייג'ן וארצות מזרח אירופה. שרף אף היה זה שעיצב את סמל תבל.
לאחר פרישתו מהמוסד בשנת 1995, השתלב בחברת "הכשרת היישוב לישראל", בראשותו של יעקב נמרודי, בתפקיד מנכ"ל חברת הבת "הכשרת היישוב אינטרנשיונל" שעסקה במגוון פעילויות בארצות מוסלמיות כגון ירדן, ערב הסעודית, אינדונזיה וומרוקו. בנוסף, פעל לקידום מכירת ספינות משמר למדגסקר. בשנת 2009 פרש והקים חברה משל עצמו.
שרף מכהן החל משנת 2009 כחבר בוועד המנהל של יד בן-גוריון. בינואר 2019 נתמנה כמחליפו של רא"ל (מיל.) בני גנץ כיו"ר יד בן-גוריון. בנוסף, מכהן שרף כדירקטור במדרשת שדה בוקר בנגב, וכחבר המועצה של המכון למורשת בן-גוריון בתל אביב. כמו כן, הוא מכהן כחבר הוועד המנהל של עמותת מוזיאון הרצליה.[2]
