בן כרמי נולד במושבה נס ציונה, בנם של בלהה ואהרון אייזנברג ואחיו של עובד אייזנברג. שמו נלקח מן הכרמים הראשונים שנטעו במושבה.
בעת מהפכת הטורקים הצעירים נענה לקריאה לגיוס כללי והתגייס לצבא העות'מאני. התקבל לקורס קצינים והפך בסופו לקצין הטורקי העברי הראשון.
בן כרמי השתתף במלחמת הבלקן הראשונה. בן כרמי חלה בטיפוס הבהרות בתחילת שנת תר"פ ונפטר בבית החולים במחנה שבויים ניקולסק-אוסוריסק בסיביר. בהלוויתו השתתפו יהודים ומוסלמים בני אומות שונות שחלקו לו כבוד אחרון.
לסיפור חייו המלא
בן בלהה ואהרון. בן כרמי אייזנברג נולד ביום י"ד בטבת תרנ"ב (25.12.1891) בנס-ציונה עם נטיעת הכרם הראשון של משפחתו ומכאן שמו. הוא למד בבית-הספר היסודי ברחובות ולאחר שסיימו המשיך לימודיו בירושלים בבית-הספר של אגודת "עזרה". באותו זמן הרבה בטיולים שערך ברגל במדבר יהודה כשהוא מתבונן בכל סלע, צמח וחורבה. כאשר עלו לשלטון "התורכים הצעירים", הם פרסמו חוקה חדשה ולראשונה הותר גם למי שאינם מוסלמים להתגייס לצבא התורכי. בן-כרמי רצה להוכיח למוסלמים שאין היהודים נופלים מהם, נסע לקושטא, ושם נתקבל לבית-הספר לקצינים של הצבא התורכי וכשסיימו היה לקצין העברי הראשון בצבא תורכיה. הוא השתתף במלחמת הבלקן בקרבות בטשטלג'ה, דידיאגץ' וקירקיסיליה ואף שנפלו סביבו רבים בשדה הקרב וגם ברעב ובקור לא נטש את המערכה כפי שעשו תורכים רבים מחבריו לנשק. להוריו כתב באותה עת: "אנכי לא אברח, נתתי דברתי ואשמרנה. את שם ישראל לא אחלל וכבוד בן ארץ-ישראל יקר לי מכל". הוא הועלה לדרגת סגן (מולאזם) וקיבל את התואר "גאזי" – מנצח – בעת הצטיינותו בקרבות. לאחר תום מלחמת הבלקן בשנת 1913 חזר ארצה לחופשה ובזמן זה הרבה לטייל והתעניין בכל הנעשה בארץ אך נקרא טלגרפית לשוב לקושטא.
כאשר פרצה מלחמת העולם הראשונה נשלח בן-כרמי לחזית הרוסית ומשם כתב בין השאר: "נחמתי האחת כי אנקם בצוררי עמנו. אשלם להם כגמולם. אקום נקמת דם עמי השפוך, אגול מעלינו חרפת הפרעות". הוא הועלה לדרגת "בנבשה" (שר-אלף – קולונל), נפצע בקרב, אושפז במשך מספר חודשים, ולאחר החלמתו יצא שוב למערכה בחזית קווקז. שם נפצע ונפל בשבי הרוסי. לאחר שהחלים מפציעתו החזירו לו הרוסים את חרבו כמחווה של כבוד ומינוהו לאחראי לקצינים השבויים . בשבי נדד ממחנה שבויים אחד למשנהו במשך ארבע שנים. הוא שהה בקווקז, בקרים, בטורקסטן, בפלך וורונז' ולבסוף בסיביר על גבול סין.
בשביו בלט בכושר מנהיגות, שימש דובר לשבויים התורכים והערבים ומנחם ומעודד לשבויים היהודים שלמענם קיים שיעורים בעברית ובתולדות ישראל. בשהותו בסיביר פעל גם בקרב יהודי חבל זה בכיוון העלאתם לארץ-ישראל.
בראשית תר"פ ערכו השבויים היהודים, חיילים וקצינים מאוסטריה ומהונגריה, מסיבת חנוכה בוולאדיווסטוק ובה החליטו להקים בארץ-ישראל מושבה חדשה בין הרי מואב שתשמור על גבולות הארץ. ימים ספורים לאחר המסיבה חלה בן-כרמי בטיפוס הבהרות. הוא נפטר בבית-החולים במחנה ניקולסק-אוסוריסק ביום י"ח בטבת תר"פ (9.1.1920) והובא שם למנוחת-עולמים. .
מודעת אבל בעיתון "דואר היום" ממאי 1920 בעקבות פטירתו של בן כרמי אייזנברג.