דורי נולד בעיר אודסה שבדרום-מערב האימפריה הרוסית, למשפחה אמידה שעסקה בסחר בסוכר. לאחר שסיים את לימודיו בגימנסיה המשיך בלימודי הנדסת מכונות בפוליטכניק, הצטרף לארגוני הנוער היהודי במקום ונטל חלק פעיל בהגנה מפני גילויי האנטישמיות שפשטו באימפריה הרוסית בעת ההיא. ב-1904עלה לארץ ישראל ובהמשך השתקע בחיפה והחל לעבוד בבית החרושת שמן. באביב 1911 נשא לאישה את שרה לבית ברקוביץ' מיבנאל שנמנתה עם מתיישבי החורן, וביתו הפך למרכז החיפאי לאנשי "השומר" ולעוברי אורח מהמושבות והיישובים בצפון.
דורי נאלץ לגייס כספים ושילם דמי כופר, על מנת להימנע מגיוס לצבא העות'מאני. בשנות המלחמה עבד בשירות הרכבות כטכנאי ובתקופה זו הצטרף למאיר דיזנגוף בארגון ובסיוע לנזקקים ולמגורשים שסבלו מפעולות הדיכוי של השלטונות העות'מאניים, בעיקר בשל פעולות "ועד הצירים". ב-1920 החל לעבוד בסוכנות היהודית, ולעסוק בעלייה מטעם ההסתדרות הציונית ובהמשך נתמנה למנהל לשכת העלייה של הסוכנות.
דורי רקם קשרים טובים הן עם האוכלוסייה הערבית והן עם השלטון המנדטורי ומצא שפה משותפת עם הפקידות הבכירה האזרחית והמשטרתית. יחסים אלו הקנו לו מעמד מיוחד מעל ומעבר לתפקידו ומשרתו והוא היווה כתובת טובה לפניות של מוסדות לעזרה בתחומים שונים כולל רכישת קרקעות בתקופת הספר הלבן, הברחת נשק בחפצי העולים, או הכנסתם של הפועלים היהודים הראשונים לנמל. קשרים טובים אלו, היו גם מקור טוב למידע על הנעשה אצל השלטונות ואצל הערבים בעיקר בתקופות משבר, פרעות ומהומות. בשנים שלאחר מלחמת העולם השנייה פעל לקליטת הפליטים שהגיעו לארץ מאירופה.
