בשנת תרס"ח (1908) עלה לארץ ישראל עם אשתו יהודית ובתו היחידה טובה. הוא התיישב ברחובות, רכש פרדס ונטע כרמישקדים, והתמקד בטיפול בהם. הוא גר בבית מפואר בן שתי קומות שתכנן האדריכל יוסף ברסקי. בבית נערכו קבלות פנים לחשובי המבקרים, כמו למשל חיים ויצמן, ג'יימס רוטשילד והרברט סמואל. הבית שכן ברחוב מנוחה ונחלה 54 ברחובות ונחשב לבית הגדול והמפואר ביותר בראשיתה של המושבה.[2]
לעולים החדשים מתימן היה קשה להשתלב בחברה, לתושבים הוותיקים היה קשה להבין את שפתם בגלל המבטא שלהם, הם קיבלו שכר נמוך ותנאי המגורים שלהם היו בלתי נסבלים. מצוקתם נגעה לליבו של זקס והוא עזר להם לרכוש חלקת אדמה בגודל 55 דונם דרומית לרחוב עזרא. האדמה חולקה ל-55 מגרשים שווים בגודלם, ועליהם נבנו בתים למשפחות העולים. ב-21 בספטמבר1909 התחילה הבנייה של שכונת שעריים, בה שכנו תימנים. בשל התמסרותו המיוחדת זקס נקרא "אבי התימנים".[1]
בשנת 1912 זקס היה חבר בוועד המושבה, ומאוחר יותר נבחר למועצה המקומית. בשנים 1924–1930 היה ראש המועצה המקומית לאחר שבשנת 1923 הפכה רחובות ממושבה שנוהלה על ידי ועד מקומי, למועצה מקומית שבה לוועד לא היו סמכויות רשמיות, ועיקר כוחו של הוועד היה בסמכות מוסרית.[1]
בהיותו חבר בוועד המושבה הוא הלווה לוועד סכום של 25,000 פרנק, סכום גדול במושגים של אז, להקמת "מכון מים". מעשהו החלוצי של אפרים - ההלוואה בריבית נמוכה ופרישׂת החוב ל-10 שנים אפשר את הקמת מכון המים ורשת צינורות שהובילו מהברכה המרכזית לכל הבתים. כך רחובות הייתה המושבה הראשונה בארץ שזכתה לאספקת מים זורמים לכל הבתים.[4]
כהערכה לפעילותו הוא נבחר לנשיא כבוד של קופת מלווה וחיסכון, אחד הגופים החשובים ביותר במושבה, שנתן הלוואות לתושבים לצורכי בניין וחקלאות וכן להעלאת קרובי משפחה מתימן ארצה. אפרים דאג להשגת מקומות עבודה עבור התימנים, שימש להם כערב לקבלת הלוואת לבניית בתים, זאת בנוסף להלוואות שנתן מכספו בעת הצורך. בכרמים ובפרדסים שלו הועסקו רק יהודים, רבים מהם תימנים.[1]
