למה אנחנו לא רואים אלגוריתמים גנטיים בChatGPT?

היום באקספליינבל, הילה ותמיר בחנו אלגוריתמים גנטיים כתשובה לפונקציית מטרה שאינה גזירה, מעולמות הסייבר ועד reinforcement learning. האם אלגוריתם פשוט שיכול לייצב מטוטלת ולפתור בעיית knapsack יוכל לעזור לנו באופטימיזציה של רשתות גדולות? בפרק נדבר על חשיבות יצירת Generation Zero בעולם בעיה מורכב, לעומת מקרים בהם כל ניחוש התחלתי הוא טוב, איך בעיה קומבינטורית יכולה להפוך למערך של מערכים, והאם יש סיכוי שנראה יותר אלגוריתמים גנטיים באופטימיזציה של מודלי שפה גדולים.

פרק 149 - זמין ממחר בכל הפלטפורמות!

00:00 בעיית תיק הגב: איך לבנת זהב קשורה לפונקציה שאינה גזירה?

02:50 איך אלגוריתם גנטי עובד

07:22 אלגוריתמים גנטיים בעולם ה Reinforcement Learning

11:13 למה אי אפשר להשתמש באלגוריתמים גנטיים ברשתות גדולות יותר

13:57 איך ללמוד עוד על הנושא

בעיית Knapsack https://he.wikipedia.org/wiki/%D7%91%D7%A2%D7%99%D7%99%D7%AA_%D7%AA%D7%A8%D7%9E%D7%99%D7%9C_%D7%94%D7%92%D7%91

בעיית cartpole בעזרת אלגוריתמים גנטיים: https://gsurma.medium.com/cartpole-introduction-to-reinforcement-learning-ed0eb5b58288

הפטנט המשלב אלגוריתמים גנטיים של חברת זיסקיילר: https://patents.google.com/patent/US20250307332A1/en

דאטה סיינטיסטים יספרו לנו בהתלהבות על איך הם פותרים class imbalance, אך מה לגבי imbalance של משתנים דמוגרפיים?

השבוע באקספליינבל, אירחנו בשנית את נורית כהן אינגר כדי להבין האם מודל שאינו הוגן יכול להיות מדויק. נזכרנו בסקנדל של מודל COMPAS לחיזוי פשיעה חוזרת של עצורים בארה״ב, שחזה false positives פי 2 בקרב אוכלוסיה אפרו-אמריקנית.

עמדנו על ההבדלים בין הוגנות קבוצתית לבין הוגנות אינדיבידואלית, ואיך לעצב מודל הוגן יותר בשלב הדאטה, האימון, והריצה. אז מודדים היום הוגנות של מודלי שפה? האם פייריות היא פיצ׳ר או מטריקה? ואיך מייק והילה הצליחו להשמיץ שוב את שיטת SMOTE? כל זאת ועוד - בפרק!

כדאטה סיינטיסטים, אנחנו מאוד רגישים ל Jailbreaking וחולשות במודלי שפה, עד כדי כך שאנחנו עלולים לשכוח שהמוצרים שאנחנו בונים פגיעים גם לחולשות אבטחה סטנדרטיות.

השבוע בexplAInable הזמנו את רועי פז, Principal AI Security Researcher שמקבל צ׳קים כדי למצוא פגיעויות באפליקציות LLM. הבחנו בין חולשות במודל לחולשות אפליקטיביות, הגדרנו מונחי בסיס כמו Sandbox, Lateral Movement, וניסינו להבין מה המוטיבציה של חברות כמו OpenAI לתגמל האקרים ולשלם להם כסף על פגיעויות שהם מוצאים במודל.

שמענו גם על אייג׳נטים שעוזרים להאקרים לכתוב מתקפות מתוחכמות יותר, ועם אלו חולשות אין לנו סיכוי לקבל צ׳ק בתוכניות Bug Bounties של מודלי שפה גדולים. כל זאת ועוד - בפרק!

לינקדאין של רועי פז: https://www.linkedin.com/in/roy-paz/

תוכנית הבאג באונטי של OpenAI שכבר שילמה ל330 האקרים: https://bugcrowd.com/engagements/openai

בשבוע האחרון של שנת 2025 אנחנו ממשיכים את מסורת סיכום השנה שלנו. אורי והילה תהו אם חזרנו להיות סטטיסטיקאים, למה code generation נהיה מעולה אבל פילטר הספאם של גוגל עובד פחות טוב, ומה הקשר בין הבייסליין החדש בכתיבת אימיילים לעריכת וידאו.

הכרזנו על השנה כשנת ה-consolidation, תהינו מה התרומה שלנו כ- Data Scientists להנדסת AI, והאם בשנת 2026 נתחיל לפגוש ביוזרים סינתטיים. כל זאת ועוד - בפרק!

השבוע בexplAInable, אירחנו את שי אלון, אוונגליסט סטארט-אפים בגוגל קלאוד ושמענו על הכלים השונים למדיה גנרטיבית (בעיקר תמונות ווידאו) מבית היוצר של גוגל. ניסינו להבין מה הקשר בין אורך ה-Context Window לסרט הוליוודי באורך מלא, איך ההתחלה מייצור ה-ending frame מעלה את איכות הסרטונים, מה גרם ל Notebook LM להפוך ממוצר נסיוני להצלחה מסחררת, וגם איך נוכל להשתמש בכלים האלו בעצמנו.

הקורס של שי: https://cloudonair.withgoogle.com/events/startup-school-ai-q4-2025?utm_source=podcast&utm_medium=shaialon

הלינקדאין של שי: https://www.linkedin.com/in/shaialon/

00:00 היי שי!

01:13 מה בתפקיד evangelist בגוגל קלאוד

02:30 מדיה גנרטיבית בגוגל

05:22 האתגרים וההזדמנויות בג׳נרוט של וידאו

15:25 על Notebook LM- מסטארט-אפ פנימי לפודקאסט ששמועים ברכב

23:21 על deep research של גוגל

27:00 הקורס של שי על מדיה גנרטיבית

השבוע ב-explAInable, ניסינו להבין האם ל-LLM יש בינה אמיתית, יחד עם ד״ר אלישע רוזנצוויג, חוקר בדיקטה ומנחה הפודקאסט ״אלישע והזוויות״.

ניסינו להבין אם מבחן טיורינג הוא פרוקסי רע למדידת בינה מלאכותית, איך רלטיביות של ייצוגי embeddings קשורים למעגליות בהגדרות מילוניות, ואיך חוק גודהארט על תבניות סטטיסטיות חזה את זה ש- LLMs ידעו לשקר לנו בצורה מהימנה יותר.

האם ה-LLMs שאנחנו מכירים היום יצליחו לקדם אותנו לעבר AGI? האם מולטי-מודאליות יעזרו לנו להגיע לבינה אמיתית? ואיך רבנים יכולים להשתמש כבר היום במערכות RAG על פסיקות קודמות? כל זאת ועוד- בפרק!

למה תמיד כשאנחנו משתמשים בUMAP, קלאסטרים עם אותה כמות נקודות נראים באותו הגודל?

השבוע ב-explAInable, מייק והילה צללו לשיטת הויזואליזציה UMAP, שנחשבת לחדשנית ביותר בתחום ומשמשת רבים מאיתנו בהדמיה של נתונים ממימד הגבוה למרחב הטלה של דו-מימד (או תלת-מימד). ניתחנו את משמעות השם של השיטה, ובדקנו איך הנחת התפלגות האחידה שלנו המהווה את הבסיס להטלה במימד הנמוך יכולה לשבש לנו את התוצאות.

האם אנחנו באמת יכולים לסמוך על צפיפות הנקודות במרחב ההטלה, האם יכול להיות שאנומליות ימסו לנו לקלאסטרים המרכזיים? כל זאת ועוד - בפרק!

לינק לקוד הפתוח של UMAP, שכולל הטמעה של densMAP:

https://github.com/lmcinnes/umap

לינק למאמר של UMAP בארכיב (עדכון אחרון של המאמר ב-2020):

https://arxiv.org/abs/1802.03426

בואו להתארח אצלנו כמומחים בפרקים הבאים:

https://forms.gle/JQM2zTmeY6cp58AA9

פרקים

00:00 מתי קווים מקבילים יפגשו?

00:51 היי UMAP, שמור לי על שכנים קרובים ונקודות רחוקות בבקשה!

02:26 החשיבות העסקית של ויז׳ואליזציות בעלות משמעות

03:19 עושים decoding לשם השיטה.

04:55 איך UMAP עובד מתמטית

07:54 אוי לא, הנחת ההתפלגות האחידה מסבכת אותנו!

08:46 האם הויזואליזציות שאנחנו מייצרים משקרות לנו?

11:00 שיפורים של UMAP להתמודדות עם צפיפות משתנה