"בית המדרש למורים העברי הממלכתי על שם דוד ילין" היה שמה הראשון הרשמי והמלא של המכללה, אך בפי כל היא הייתה ידועה בשם "סמינר בית הכרם", שכן שוכנת היא על גבעה נישאה בלבה של שכונת בית הכרם/ המכללה האקדמית לחינוך ע"ש דוד ילין הייתה נקודת ציון חשובה ביישוב העברי עוד לפני שנקראה בשמה. באופן רשמי, היא נוסדה בשנת 1913 והייתה למוסד הראשון להכשרת מורים בארץ ישראל והיא גלגולו המאוחר של הסמינר של חברת "עזרה" להכשרת מורים אשר יסדו יהודי גרמניה, והלימודים בו היו דו-לשוניים; מקצועות כלליים נלמדו בגרמנית ומקצועות היהדות בעברית. זמן קצר לפני היווסדה של המכללה התחוללה בארץ "מלחמת השפות" עד שחל המפנה שהביא להפעלת מערכת חינוך עברית-לאומית עצמאית. שמונה-עשר מורים ממוסדות "עזרה" בירושלים שלחו מכתבי התפטרות ובראשם עמד דוד ילין, שהיה אז סגן מנהל הסמינר. בעקבות מלחמה זו הוחלט להקים בית מדרש חדש וקראו את שמו "בית המדרש למורים העברי". הלימוד בו נעשה בשפה העברית.
בשנותיו הראשונות לא היה לבית המדרש מבנה קבע. הוא שכן במספר בניינים בירושלים עד שבראשית שנת 1925 יצא דוד ילין, מייסדו של הסמינר וגם מנהלו הראשון, לארה"ב ושם הצליח לעניין אישים ומוסדות כדי שיסייעו לו להקים קרן לבניין קבע בירושלים. בשובו ארצה פנה לוועד שכונת בית הכרם בבקשה שיינתן לו מגרש להקמת הבניין בשכונה ואכן הוחלט להקצות מהקרקע הציבורית שבמרומי השכונה ארבעה-עשר דונמים לבניית הסמינר למורים ובית ספר לילדי השכונה, מתנת שכונת בית הכרם. בשלהי שנת 1929 עבר בית המדרש למורים העברי אל בניין הקבע שלו החדש והרחב בבית הכרם. מהקמתו ועד היום, נשמרה חזית הבניין כפי שנבנתה. נוספו לו שתי קומות ובהן כיתות לימוד, אולמות לפעילויות שונות, משרדי המוסד והנהלתו, ספרייה מורחבת וחדרי עיון. בשנת 1997 נסתיימה בנייתו של אולם הכנסים: "אולם התרבות ע"ש יוסף ורבקה מאירהוף" המכיל כ-600 מקומות ישיבה, ובשנת 2003 נסתיימה בנייתו של אגף חדש מאחורי הבניין הקיים ובו שש קומות, מהן שתיים תת-קרקעיות, וחניון תת-קרקעי ובו 120 מקומות חניה.
בתחילה קלט הסמינר את בוגרי בית הספר העממי לאחר שמונה שנות לימוד, והלימודים בו נמשכו חמש שנים. תכנית הלימודים בסמינר הייתה כמו של בית הספר התיכון בארץ ישראל והשנה הנוספת נועדה להכשרה פדגוגית להוראה בבית הספר העממי. מאז ועד היום התפתחו תכניות הלימודים והיום לומדים במכללה כ-5,000 סטודנטים לתואר ראשון, תעודת הוראה, תואר שני, לימודי תעודה והשתלמויות ובמכינה הקדם אקדמית.
