אהרון דוד גורדון נולד בכפר טריאנו שברוסיה והיה בן יחיד להוריו לאחר שכל אחיו נפטרו בצעירותם. בילדותו לא למד קרוא וכתוב ורק בגיל 14 נשלח ללמוד בישיבה בווילנה. כעבור שנה עזב את הישיבה ונשלח ללמוד במשך שנתיים אצל מורה פרטי בעיירה חשצ'אבוטה. בהיותו בן 17 החל ללמוד עצמאית שפות זרות והתמיד בלימודי רוסית, גרמנית וצרפתית. ידיעתו בשפות אפשרה לו לרכוש השכלה נוספת. הוא התעמק בקריאת ספרים בנושאים שונים ורכש ידע במדעים. במקביל המשיך ללמוד תורה.
לאחר נישואיו התגורר בבית הורי אשתו באובודיבקה וכעבור שנתיים התקבל לעבודה כפקיד באחוזתו של הברון גינזבורג במוהילנה. במשך 23 שנים התמיד גורדון בעבודת הפקידות, אך עבודתו לא גרמה לו סיפוק רב. לכן הקדיש את שעותיו הפנויות לפעילות חינוכית בקרב בני נוער בעיירת מגוריו, חשצ'אבוטה. הוא לימדם את השפה העברית והתגלה כמורה מחונן. גורדון צירף ללימודים גם בנו ובתו שנולדו במהלך אותם שנים ודאג בעצמו לחינוכם במקום לשלוח אותם לבית הספר.
בשנת 1903 נמכרה האחוזה וגורדון נותר ללא פרנסה. לאחר לבטים רבים החליט לעלות לארץ ישראל והוא אז בן 48 שנים. שנה לאחר מכן הגיע לארץ ועבד כחלוץ בפתח תקווה, ראשון לציון, רחובות וביישובי הגליל. על אף גילו המתקדם נשא בקשיי היום-יום ולא חשש מעבודת כפיים בפרדסים ומעבודות חקלאיות שונות.