All content for ExplAInable is the property of Tamir Nave & Uri Goren and is served directly from their servers
with no modification, redirects, or rehosting. The podcast is not affiliated with or endorsed by Podjoint in any way.
אורי גורן ותמיר נווה מדברים על
Machine Learning
ואתגרים בתעשייה עם מומחים מהתחום.
על חוקי הסקייל של מודלי שפה עם ד״ר ג׳וני רוזנפלד מMIT
ExplAInable
1 hour 8 minutes 31 seconds
3 months ago
על חוקי הסקייל של מודלי שפה עם ד״ר ג׳וני רוזנפלד מMIT
בפרק זה היה את הכבוד לארח את ג׳וני, מהכותבים המקוריים של מאמר הscaling laws ב2019 שסלל את הדרך למודלי השפה העצומים של ימינו.
חשבתם פעם איך לסם אלטמן היה את האומץ לשפוך מליונים על אימון GPT3 בתקווה שיהיה מודל טוב יותר מאשר מודל באלפי דולרים?
תגלית חוקי הסקיילינג (שלהם ג׳וני היה שותף) היתה המנוע העיקרי להבנה איך עובדת הכלכלה של אימון מודלי שפה.
נגענו במוטיבציה לכללים, ומדוע אנחנו יכולים לנבא ביצועים של מודל אף על פי שאיננו יודעים איך הוא עובד בדיוק.
דיברנו על ההבדל בין ההשפעה של החוקים על שלב האימון לעומת שלב הinference כפי שאנחנו רואים במודלי chain of thought.
והאם סקיילינג תלוי בארכיטרטורה של הטרנספורמרים אותה אנחנו מיישמים כיום? או שמדובר בתופעה כללית.
סיימנו בדיון על העתיד של התחום, וכיצד אפשר למדוד אוטונומיה של מודלי שפה בצורה דומה בעתיד כדי להבטיח שתהיה שליטה במודלים הבאים.
ExplAInable
אורי גורן ותמיר נווה מדברים על
Machine Learning
ואתגרים בתעשייה עם מומחים מהתחום.
