בפרק זה אירחנו את אלן ארזי, מהכותבים של TabStar - מודל דיפ לרנינג המיועד למידע טבלאי.בניגוד לתמונה, קול וטקסט - במידע טבלאי מודלי דיפ לרנינג הם לא הגישה הרווחת.האתגר הגדול בעולמות הטבלה היא חוסר האחידות, טבלאות יכולות לתאר מגוון רחב של נתונים בלי מכנה משותף ביניהם - ולכן קשה למצוא ״מודל בסיס״ כמו בעולמות התמונה. בטאב סטאר, הכותבים לקחו גישה שמערכת מודלי שפה (ובפרט טרנספורמרים) והשתמשו בשמות העמודות ובתיאור הטקסטואלי של הקטגוריות בשביל לתת למודל קונטקסט. השיטה מראה ביצועים עדיפים על XGBoost כאשר יש מגוון של עמודות טקסטואליות, ויחסית מעט שורות. אלן סיפר לנו על האתגרים באיסוף מידע לאימון ועל הצפוי לנו בעתיד בעולמות המידע הטבלאי.  

רביד זיו, לשעבר מהמעבדה של יאן לקון, היום פרופסור בNYU וחוקר פורה בדיפ לרנינג ידבר איתנו על דחיסה ולמידה. בעוד דחיסה מזכיר לחלקנו זיפ, או jpeg - רביד ירחיב על איך רשתות דוחסות מידע בצורה יעילה. נדבר על שיטות כגון next token prediction שמסתבר שמאלצות מודלים ללמוד דחיסה יעילה יותר מאשר masking כמו בBERT. נדבר על חשיבות האוגמנטציה בתהליך האימון - או יותר נכון, חוסר החשיבות כפי שנראה. ונעמיק על הקשר שבין דחיסת מודלים, דחיסת אינפורמציה והמשימות אליהן רוצים לעשות אופטימיזציה

מתי מריאנסקי, מוביל קהילת עליית המכונות הפופולארית, אמן ומשתמש נלהב בAI ידבר איתנו על נסיונו. נדבר על המגבלות והדפוסים שנראה שAI נופל אליהם, האם מודל בינה יוכל לייצר את סגנון הקוביזם החדש? ונדבר על ההשלכות של פילטרי הבטיחות על איכות המודלים. לסיום, נדון האם יש טעם ללמוד היום עיצוב גרפי, והאם התחום בדרך לאוטומציה מלאה.

היום בעידן מודלי השפה הגדולים כשתרגום סימולטני מתאפשר בלייב, זה נראה כאילו מאז ומתמיד ChatGPT ידע לדבר עברית. עד לא מזמן היתה צניחה משמעותית בביצועים של מודלי שפה על שפות שאינן אנגלית. בפרק זה גיא רוטמן, חוקר אקדמי בתחום ובתעשייה ב gong.io ידבר איתנו על אתגרי העבר והווה באימון מודלי שפה רב שפתיים. נדבר על טיפים עכשוויים להתמודדות עם שפות כגון עברית, ועל אתגרי הדאטא.

יוצא לנו הרבה לדבר על אייג׳נטים, על מודלי שפה, ועל איך הם עובדים. בפרק זה אנחנו נדבר עם מיכאל קיסילנקו - היזם מאחורי GenDesk, שמגיע שיטתית למליוני חשיפות בלינקדין בעזרת שימוש בAI. מיכאל פיתח מומחיות רבה, ולמד את האלגוריתם של לינקדין מכל הצדדים.פרק מלא תובנות שאסור לפספס

היום כשמודלי שפה נהיו כ״כ חזקים, אנחנו לוקחים כמובן מאליו את יכולות הבנת התמונה.בפרק זה פרופ. עידן שוורץ מאוניברסיטת בר אילן יספר לנו על ההיסטוריה של התפתחות התחום, על ביאסים בתשובות ואיך מתמודדים איתם ומה הם האתגרים העכשוויים בתחום.ריבוי מודאליות גורם גם לבעיות מסדר שני, כגון ישור הקלטים, מציאת מרחב משותף מייצג, וכמובן מה עושים כאשר יש קונפליקט בין המימד החזותי לטקסטואלי למשל.ב28 למאי ייערץ יום עיון בבר אילן, שם עידן ומיטב המוחות בתחום יציגו את העבודות שלהם.קישורים לעיון:https://biu365-my.sharepoint.com/:f:/g/personal/schwari9_biu_ac_il/Eus14HAcXQBBuS_GhknGbh4Bevs1VixlLgPO0yCgLReY2w?e=GZJDnO

אחרי שנתיים ביקרנו שוב בכנס Haystack העוסק בחיפוש והמלצה.נדבר על ההבדלים בין 2025 לשנת 2023 ועל מגמת החזרה לעולם החיפוש הלקסיקוגרפי על חשבון החיפוש הוקטורי. ועל גישותLLM as a judgeהרווחת לאיבליואציה של חיפוש והמלצה

מודלי שפה גדולים אמנם עוזרים לפרודקטיביות, אבל גם של ההאקרים. עולם הסייבר השתנה רבות מאז יציאת ChatGPT - מומחים מעריכים שמספר הפריצות גדל פי ארבעה. בפרק זה נתן כץ יסקור לנו ארבע שיטות לניצול חולשות במודל השפה עצמו. נדבר על גניבת מודלים, ״הרעלה״ של סט האימון והרעשה של המודל לביאס עבור מילת אקטיבציה ספציפיתץ נתן יחלוק לנו מתובנותיו בlumin AI על תהליך המכירה לCSO בארגון, ונדבר על ההבדלים בין סיכוני open source ל״משקולות פתוחים״

בפרק זה החליפו מייק ותמיר את התובנות החידודים והשאלות הפתוחות שלהם בניסיון להבין איך מתחברים עולם ה RL ועולם ה LLM (קרי RLHF). ב 2024 השתנתה הפרדיגמה - בתחילה יצירת מודל reward כדי לעשות אימון נוסף ל LLM אחרי ה pretraining שלו באמצעות PPO. ולאחר מכן הוחלף ה PPO בRLHF. בעוד רוב מודלי ה reasoning של החברות הגדולות (chatgpt, claude, gemini) עדיין באפילה - נדבר על איך לדעתנו RLHF יכול לשמש בתהליך.

יאן לקון, מאבות הAI המודרני מאמין שהעתיד נמצא בתיכנון טווח ארוך (planning) ולא בחיזוי המילה הבאה. פרופסור גיא שני מהפקולטה להנדסת מערכות מידע באוניברסיטת בן גוריון ומוביל קבוצת מחקר בeBay יספר לנו על האתגרים. נדבר על סוגים של אי וודאות במודלים, ושיטות תכנון לאופק מוגדר לעומת אופק לא ידוע. נצלול לעומק הגישות המרקוביות הקלאסיות, כמו POMDP ונשווה מול גישות Reinforcement learning. למי שמעוניין לצלול לפרטים, פרופסור גיא שני והמעבדה שלו הקליטו קורס אונליין חינמי בקישור הבא: https://campus.gov.il/course/bgu-acd-bgu-ai101/

כנס הGTC של אנבידיה הוא אחד האירועים המרכזיים של עולם הAI. הכנס נערך חמישה ימים והסתיים ב22 למרץ 2025, בפרק זה ננסה לתמצת לכם את עיקרי הדברים בעשרים דקות. וכהרגלנו, נבחון בעין ביקורתית את ההצהרות וההכרזות שהיו בכנס. מה נאמר על רובוטים, דיפסיק, עתיד המניה ומה לא נאמר ובלט בהיעדרו.

מעטים המאמרים המתארים בפירוט רב כל כך את האתגרים של יצירת וידאו מטקסט. במאמר הMovieGen של מטא, נכתבו 92 עמודים של המודלים השונים שנדרשים כדי לייצר סרטונים קצרים. בפרק זה לירון יספר לנו על האתגרים הטכניים כמו מגבלת הזכרון, וסוגי הטעויות שניתן להבחין בסרטונים מג׳ונרטים. אנחנו נסקור בקצרה את הגישות שמטא לקחו במאמר שלהם, ונפרק את השיטה לתתי המודלים שמרכיבים את הpipeline הארוך של יצירת סרטונים עם AI.

להכניס מודלי שפה כמו ChatGPT למערכת, זה יחסית קל ונגיש, עם אלפי דוגמאות ותמחור תחרותי אצל הספקים השונים. אבל למדוד את הביצועים של מודל כזה או אחר נשארת בעיה פתוחה, במיוחד אם משלבים גם מדדים עסקיים. בפרק זה נארח את אסף בורד, שמוביל את מאמצי ה GenAI בחברת Northwestern Mutual והשיק לאחרונה את Multinear.com כקוד פתוח לאבלאוציה. נדבר על חמשת הרכיבים שיש לבדוק כשמנסים להעריך מערכת AI בשלמותה: דאטא, פונקציית המטרה, הפרומפט, הסטאק הטכנולוגי ובדיקות. ונעמיק בהשוואה מול ספריות אחרות וטכניקות מדידה כגון GPT as a judge

נראה שהבינה המלאכותית כבר כאן, חיה ובועטת - אבל עדיין אין רובוטים מתהלכים ביננו. בעוד מודלי שפה גדולים מגיעים לתוצאות מבחני לשכה מעל העורך דין הממוצע, הם עדיין מתקשים בקיפול גרביים. בפרק זה נארח את אופיר זמיר מNVIDIA שייספר לנו על האתגרים, ועל טכניקות כגון Imitation learning, Simulation ועל הכלים שאנבידיה מביאה לשולחן מבחינת חומרה ותוכנה כדי להפוך את החלום על רובוטים למציאות.   זו הזדמנות מעולה להזכיר שכנס הGTC השנתי של אנבידיה קורה החודש, ב17 למרץ ואפשר להשתתף אונליין ללא עלות. להרשמה https://www.nvidia.com/gtc/?ncid=ref-inpa-481629

כולנו מכירים את התופעה שמודלי שפה גדולים נוטים להמציא דברים שלא היו ולא נבראו. אבל האם אפשר לכמת את איכות המודל לפי רמת ה״הזיות״ שלו? ומה לגבי סוכנים? שם טעות בשלב אחד יכולה להשפיע דרמטית על הכלים שייבחרו בשלבים הבאים? אירחנו את ישי רוזנברג, חוקר בתחום שמוביל את Verax AI לדבר על איך אפשר להתמודד עם בעיות האמינות של מודלים. ומדוע לדעתו צריך להיות דקדקנים במינוח של סוגי הטעויות לפי הקונטקסט הנכון.

בר שאלתיאל מוביל את קהילת בינה מלאכותית בגובה העיניים המונה מעל 30000 אנשים. בר שיצא בשאלה מהעולם החרדי לפני כשלוש שנים גילה כמעט בטעות את כוחם של מודלי השפה הגדולים כשהתחיל לסייע לסטודנטים לכתוב עבודות אקדמיות.מאז נכנס בר למסע של מחקר והבנה איך המנגנון עובד, ואילו פרומפטים יעילים ביותר.יוצא לנו הרבה לדבר על מודלי שפה גדולים מנקודת המבט של החוקר, ובפרק זה נצלול לראשונה לחוויית המשתמש והbest practices שבר מלמד מהעבודה בשטח.

כבר חמש שנים שאנחנו מקליטים על למידת מכונה, אלגוריתמים ולא מעט על GenAI. עוד אף פעם לא מאוחר להזמין לפרק לייב, בשיתוף פעולה עם qodo לפרק מיוחד של Ask me anything/ כדי שנוכל להתכונן, נשמח לענות על השאלות שלכם בקישור הבא: https://docs.google.com/forms/d/e/1FAIpQLSeqQX4VtEoGxa4IlEi4-cpn46mtkhOdogR4FTxNwuq8cXy2HA/

כולם מדברים על דיפסיק, המודל הסיני, החדש, הזול והאופן סורס שמביס את צ׳אט ג׳י פי טי ומביך את OpenAI בפרק זה נדבר על ארבעת החידושים הטכנולוגיים מהמאמר: GRPO, KL-divergence approximation, multi token prediction והקוואנטיזציה. ואיך לא, גם קצת השערות של מייק ארליכסון ושל אורי גורן על מה באמת קורה מתחת למכסה המנוע.

בפרק זה מצטרף אלינו פרופ' אופיר לינדנבאום מאוניברסיטת בר-אילן לשיחה על השימוש בלמידת עומק לגילוי מדעי. נדון באתגרים הייחודיים של נתונים טבלאיים, היתרונות של רשתות נוירונים מול שיטות מסורתיות, ויישומים מעשיים בתחומים כמו ביולוגיה ורפואה. המאמר שהזכרנו בפרק האתר של אופיר לינקדאין של אופיר

בפרק זה, אירחנו את דן עופר, מדען נתונים בכיר ב-Medtronic ודוקטורנט באוניברסיטה העברית, נדבר על ניסיונו בתחרויות Kaggle ובתחום מדעי הנתונים. נדון גם בתרומתה של Kaggle לפיתוח יכולות מעשיות, באתגרים שבין התחרויות לבין המציאות המקצועית, ובתובנות שנרכשו מתחרות ProteinBERT לאנליזת חלבונים באמצעות מודלים מבוססי שפה. גיטהאב של דן לינקדאין של דן