החל משנת 1897 הצטרף באופן פעיל לתנועה הציונית. הוא נמנה עם מייסדי הארגון בני ציון בסלוצק. פעל בעקביות למען הפצת השפה העברית כשפה מדוברת ובשנים 1914-1910 עמד בראש החברה לתרבות וללשון עברית בברלין. בשנים 1927-1917 עבר כמפקח על לימוד העברית והיהדות בבתי הספר התיכונים היהודים שהקים מרקוס בראודה ואחר כך בשנים 1933-1927 לימד שירה עברית של ימי הביניים וספרות עברית חדשה במכון ליהדות בוורשה. בעת שהותו בוורשה היה כהן חבר בוועד המרכזי של הארגון "תרבות".
כהן פרסם שירים החל משנת 1900. שירו הראשון שנחשב בעיניו יצא לאור בשנת 1901 בכתב העת "הדור" בעריכתו של דוד פרישמן.
כהן היה חבר ועד הלשון העברית משנת תרצ"ו (1936) וחבר האקדמיה ללשון העברית מיום ייסודה ושימש סגן נשיא האקדמיה בשנים תשט"ז–תשכ"א, חבר ועד המינוח והוועדות לתעתיק ולדקדוק.
פזמונו "בדם ואש יהודה נפלה בדם ואש יהודה תקום" היה לסיסמת "השומר", לאחר מכן להמנון "ברית הבריונים" ולימים שיר רוויזיוניסטי מושר ומוכר. שירו "שיר הצבאות" היה להמנונה של התנועה הדתית-לאומית ברית החשמונאים.
כהן היה פעיל בתנועה הרוויזיוניסטית, והיה מאנשי הצה"ר. בשל המחלוקת על דרכהּ של התנועה מול עמדת זאב ז'בוטינסקי, חבר כהן ב-1933 אל מאיר גרוסמן להקמת מפלגת המדינה העברית.
כהן היה חבר פעיל של אגודת הבונים החופשיים בלשכת ברקאי ואח כבוד בלשכה הגדולה של ארגון זה. הוא פרסם בכתבֿ העת “הבונה החופשי” ומעריכים שמוטיבים מאסוניים מופיעים ביצירתו, בעיקר בטרילוגיה שלו על שלמה המלך וביצירות על חיי האלמוות.
[2]
בשנת 1938 זכה בפרס ביאליק לספרות יפה על ספרו "ליד הפירמידות".
אלי אשד, "נביא עידן האלמוות" - מאמר מקיף על אידאולוגיית חיי הנצח של יעקב כהן. הופיע ב"עמדה" ביטאון לספרות עברית מספר 23 ובאתר "יקום תרבות": חלק ראשון, חלק שני