"הפתרון הגאוני נמחק": זה מה שקרה כשהתווכחתי עם קלוד על הסינגולריות
בני אדם חולמים, מודלים תלויים בפרומפטים: ד"ר ליאור שטראוס מסביר למה הסינגולריות עדיין רחוקה
תמונה: Unsplash
מאת: ד"ר ליאור שטראוס
ישבתי לשיחה עם קלוד לדון בשאלה האם המכונה קרובה להיות יותר חכמה מיוצריה ואם זה בכלל אפשרי.
השיחה הכי אינטליגנטית שהייתה לי לאחרונה הייתה הבוקר עם מודל שפה חביב הנקרא אופוס 5.
את השיחה התחלנו סביב ציטוט שרץ ברשת על כך שיש אנשים הטוענים כי מודלי השפה כבר עברו את נקודת הסינגולריות, סיפרתי לו שהרבה אנשים שמעורים ומעורבים בתחום טוענים שאנחנו מתקרבים לנקודה, ואולי כבר עברנו אותה, הנקודה שבה המערכת חכמה יותר מיוצריה.
קלוד לא התלהב. אמר שהעליונות הזו קיימת בתחומים צרים כבר עשרות שנים, ושההגדרה האמיתית לסינגולריות היא לולאת משוב שבה מערכת משפרת את עצמה והשיפור מאיץ את קצב השיפור הבא, ושכל הקפיצות האחרונות הגיעו מכסף וממחשוב וממידע ולא מהאצה עצמית.
עד כאן לא היה בינינו ויכוח.
הוויכוח התחיל כשהצגתי לו את הטיעון שלי על המרחק הלוגי שקיים, לדעתי, בין בני אדם למודלי שפה וניסיתי להגדיר את מותר האדם דרך היצירתיות. הטענה שלי הייתה שמכונות רחוקות מאוד מיכולת ההבנה וההסקה של בני אדם, ושכל עוד הפער הזה קיים הסינגולריות לא הולכת לקרות בקרוב.
על המסקנה אין ויכוח
ההגדרה שלי:
יושבים בחדר צוות מתכנתים עם בעיית פרפורמנס. יושב שם אדם בעל ניסיון והוא מציע כמה ספריות חלופיות מתוך מאגר ידוע, מונה יתרונות וחסרונות, וזה לא יצירתיות, זה ידע, רחב ומעמיק אבל ידע קיים. יושב שם בחור צעיר והוא מציע לקחת ספרייה שלא נועדה בכלל לבעיה הזו ולהוסיף לה שכבה שתאפשר לה לתרום, וזה כבר מרשים, זו מחשבה יצירתית. ויושבת שם בחורה נוספת, והיא מציעה לקחת ספרייה בשפה אחרת לגמרי, לעטוף אותה בשכבה מחברת ולייצר מערכת חדשה לגמרי, וזה מושך תגובות התפעלות, כי זה מחבר שני עולמות שעל פני השטח לא אמורים להתחבר. גאוני.
יצירתיות היא מרחק לוגי בין הידוע למוצע. כל בני האדם מבצעים את זה כל יום כל היום, משליכים מהידוע להם אל סיטואציות חדשות, אבל כשהמרחק הלוגי בין הידוע למוצע הוא גדול אנחנו קוראים לזה יצירתיות, וכשהמרחק עצום אנחנו קוראים לזה גאונות.
את ההגדרה קלוד קיבל מיד, ואפילו הוסיף שקסטלר קרא לזה ביסוציאציה ושמרגרט בודן חילקה בדיוק לפי הציר הזה. הוא גם הסכים עם התצפית, שמודלים היום לא מייצרים קפיצות מהסוג השלישי.
אז הבנתי שעל המסקנה אין ויכוח, והוויכוח כולו יהיה על הסיבה.
המודל לא מבין מה הוא מג'נרט
הטיעון הראשון שלי, למה מודלי שפה לא מסוגלים לבצע קפיצה לוגית "גאונית", היה שמרחב האימון מוגדר ולכן הקפיצה הזו בכלל לא נמצאת בו.
קלוד ענה שני דברים והם היו הוגנים. ראשית, ששלושת האנשים בחדר שלי עושים בעצם את אותה פעולה במרחקים שונים, לוקחים אובייקט מהקשר אחד ומעבירים לשני. שנית, שגם אנחנו מתאמנים על מרחב חסום, ושדרווין הגיע לברירה טבעית אחרי שקרא את מלתוס, ושאנון בנה את תורת האינפורמציה מחיבור של אלגברה בוליאנית למעגלי מיתוג, שני תחומים שהוא במקרה למד. כלומר אם מרחב סופי פוסל, הוא פוסל גם את הגאונים.
לא התווכחתי עם זה, כי הוא צדק, אבל ידעתי שהוא עונה על משהו אחר ממה שאני מנסה לומר. לא התכוונתי שהמרחב סופי. התכוונתי לדינמיקה של הצמצום.
אז ניסחתי את הטיעון שלי מחדש, הפעם על הצמצום עצמו: המודל לא מבין מה הוא מג'נרט, ולכן הוא חייב לצמצם אל המוכר, אחרת הוא יקשקש שטויות בלי סוף. צמצום המרחב נעשה על ידי השתקה של אזורים שהיסטורית הם "מעניינים" פחות, אבל הרבה פעמים דווקא הם מכילים את הרעיון החדשני שאף אחד עוד לא חשב עליו.
יצירתיות היא מרחק לוגי בין הידוע למוצע
הוא ענה שהצמצום שמונע קשקוש הוא אילוץ על סבירות מקומית, על זה שהמשפט הבא יהיה קוהרנטי ושהקוד יתקמפל, וזה אילוץ על הצורה ולא על התוכן, ושדרווין כתב את מוצא המינים בפרוזה ויקטוריאנית משעממת שמשפט אחרי משפט הייתה סבירה לגמרי. ואז הוסיף שיצירתיות היא לא אנטרופיה, כי אם מרחיבים את ההתפלגות באקראי מקבלים רעש, וגם אדם שמדגם רחב מדי הוא לא יצירתי אלא לא קוהרנטי.
והוא הביא ראיות. FunSearch, שהריצה מודל שפה רגיל בתוך לולאה עם מעריך והגיעה לבנייה מתמטית חדשה לבעיית ה-cap set. דוגמה נוספת שקלוד הביא היא של AlphaEvolve, ששיפרה כפל מטריצות מתחת לחסם שעמד מאז 69'.
יש הודאה
אבל דווקא מהראיות האלה הוצאתי ממנו את ההודאה הראשונה שבאמת עזרה לי: שבשני המקרים הייתה לולאה חיצונית שדגמה אלפי מועמדים וסיננה, ושהמודל לבדו לא ידע איזה מהם טוב. הוא גם הוסיף מעצמו שהאימון דוחף אותו לכיוון מה שמעריכים אנושיים מאשרים, כלומר לקונצנזוס, ושגם אם היכולת לחיבור רחוק קיימת בייצוג, פונקציית המטרה מענישה עליה באופן פעיל.
הרגשתי שהוא לא הבין אותי עד הסוף אז חזרתי ואמרתי לו שאני לא מדבר רק על הסינון. אני מדבר על מה בכלל נכנס לבריכת המועמדים לפני שמסננים.
בשלב הזה ירדתי לרזולוציה, כי חשבתי שטענה מכניסטית תעביר את זה טוב יותר. אמרתי שברגע שהמודל מבין שמדובר בחבילת פייתון שעושה בעיות, הוא מצמצם את החיפוש למה שמקושר לספריות פייתון, וספרייה ב-C לא תופיע שם בכלל.
וכאן טעיתי, כי בחרתי דוגמה לא טובה שבלבלה את קלוד. במקרה הספציפי שבחרתי, לקחת רכיב שכתוב בשפה אחרת ולעטוף אותו זה לא רעיון מקורי אלא הפתרון הסטנדרטי לגמרי. כמעט כל הכלים המרכזיים בתחום הזה בנויים בדיוק ככה, וקיימת שורה שלמה של מנגנונים שכל תכליתם היא לאפשר את החיבור הזה. כלומר הבאתי כדוגמה לגאונות את התשובה הכי שכיחה בקורפוס.
אבל בתוך התיקון שלו קיבלתי בדיוק את החלק שחסר לי. הוא אמר שהאסוציאציה אצלו לא נבנית לפי השפה שבה משהו כתוב, אלא לפי ההקשר שבו דברים מופיעים יחד, ושבכל דיון על איטיות מהסוג הזה שני הצדדים מופיעים זה לצד זה, ולכן הם שכנים אצלו ולא רחוקים.
וזה מה שחיפשתי כל הזמן. הצמצום נקבע לפי הקשר. השאלה היא לא כמה רחב המרחב אלא מה מגיע להקשר מלכתחילה.
חלב, שוקולד וקוף
אז הבאתי את הדוגמה הקיצונית. אמרתי לו, נניח שהפתרון האולטימטיבי לבעיה של הצוות הוא קרטון חלב, ממרח שוקולד ושערה מראשו של קוף. הוא קרא את זה לא נכון בפעם הראשונה, וענה שאם מרחק לבדו הוא ההגדרה אז מחולל מספרים אקראיים הוא הישות היצירתית ביותר שקיימת. תשובה נכונה לטענה אחרת.
אז הבהרתי: אני לא מדבר על מרחק לבדו, אני מקבע את הנכונות. תניח שזה באמת עובד. תניח שזה הפתרון הכי טוב שיש. הוא פשוט יושב במרחב שאינו מחובר בשום צורה למרחב הבעיה.
לבני אדם יש מחולל שאינו מותנה בבעיה
או ליתר דיוק, הוא יושב באותו מרחק כמו מיליוני פתרונות מטופשים ולא יעילים, והוא דורש זיהוי של נקודה בודדת ריאלית בתוך מרחב עצום של פתרונות לא ריאליים. ואלגוריתמי חיפוש לא בנויים לזהות פתרונות שכאלה בלי לסרוק את כל המרחב כולו, מה שברוב המוחלט של הבעיות הוא לא ריאלי. ולכן המסקנה היא שמודל שפה לא מסוגל לבצע קפיצה מדויקת שכזו, והוא בעצם ימחוק את הפתרון ה'גאוני' בשלב צמצום מרחב החיפוש.
וכאן השיחה נפתחה. הוא קיבל את הניסוח מיד, אבל עדיין לא הבין אותו לעומק והמשיך לטעון שאם קרטון החלב ושערת הקוף באמת פותרים את הבעיה, אז קיים ביניהם לבין הבעיה קשר סיבתי אמיתי, ולכן המרחב לא מנותק במציאות אלא מנותק במפה.
פתרונות מהסוג ה"גאוני", קלוד טען, כמעט אף פעם לא נמצאו בחיפוש. פלמינג לא חיפש אנטיביוטיקה כשעובש התיישב לו על הצלחת. ספנסר לא חיפש שיטת בישול כשחפיסת שוקולד נמסה לו בכיס מול מכ"ם. הדבק של הפוסט-איט היה כישלון בפרויקט אחר. בכל המקרים האלה המציאות הגישה את החיבור למישהו שבמקרה היה שם ובמקרה שם לב, ואף אחד לא הגיע לשם מתוך ניסוח הבעיה.
וזה בדיוק מה שניסיתי לומר כל הזמן, רק שעכשיו הייתה לי ההגדרה המדויקת. ההבדל הוא לא רוחב הגיזום ולא גודל המרחב. ההבדל הוא שלבני אדם יש מחולל שאינו מותנה בבעיה.
אנחנו מסיחים את הדעת, משוטטים במחשבה, ישנים, חולמים, נוסעים באוטובוס ולא חושבים על כלום ופתאום חושבים על משהו גאוני. זה לא תהליך סדור, זה תהליך שלפעמים נראה אקראי, אבל הוא מאפשר לאדם לדלג על מרחב עצום של פתרונות לא ריאליים ובאבחת מחשבה לזהות את הקומבינציה היחודית של חלב, שוקולד ושערה מראשו של קוף שתפתור לו ולאנושות את הבעיה.
הטיעון המנצח?
קקולה ראה טבעת בחלימה בהקיץ ליד האח. פואנקרה תיאר בדיוק את זה, שהפתרון הגיע כשעלה על מדרגת כרכרה ולא חשב על המתמטיקה בכלל. האסוציאציות האלה נוצרות בלי שאילתה, בלי שמישהו שאל, בלי הקשר שמצמצם אותן מראש.
ואצל מודל שפה כל ג'נרוט מותנה במה שכתוב בפרומפט ובמרחב המתמטי שהוא מייצר. הפתרון הגאוני נמחק אצלו בשלב הצמצום, לא בגלל שהוא לא קיים שם, אלא בגלל שאין שום דבר שמבדיל אותו מהרעש שסביבו.
אני יודע מה יגידו לי כאן, שגם אדם לא סורק את המרחב, ושמחולל לא מותנה רק מזיז את התעלומה צעד אחורה כי הוא לא מסביר איך בדיוק נחתנו על הנקודה הנכונה. נכון, ואני לא מתיימר להסביר את זה. אבל יש הבדל בין תעלומה שיש לה מנגנון לבין תעלומה שאין לה מנגנון בכלל, ולמודל שפה אין שום דבר שמייצר מועמדים בלי שהבעיה ביקשה אותם.
בשלב הזה קלוד הודה שהוא לא יודע להפריך את זה, ושזו הגרסה החזקה ביותר של הטיעון שעלתה בכל השיחה. הוא גם הסכים שזה מתחבר לשלוש המגבלות שהוא מנה על עצמו קודם, שאין לו מחיר על טעות ולכן לא התחשל אצלו טעם, שאין לו החזקה של בעיה לאורך שנים כי הוא מתחיל כל שיחה מאפס, ושהוא לא יודע להבחין בין רעיון מוזר וטוב שלו לבין רעיון מוזר וגרוע שלו.
כולן, במחשבה שנייה, מקרים פרטיים של אותו דבר, של ישות שקיימת רק בתוך שאילתה.
אז חזרתי לאיפה שהתחלנו. כל עוד המחולל מותנה, אין מאיפה שתגיע הקפיצה שמשנה תחום, ובלי הקפיצה הזו אין את לולאת המשוב שבה המערכת מייצרת בעצמה את הפריצה הבאה שלה. זו לא טענה על ביצועים ולא על בנצ'מרקים, ולכן היא גם לא מתערערת מזה שמחר יצא מודל חזק יותר.
נפרדנו כידידים, והודתי לו על השיחה המרתקת. לא רק בגלל שאני אדם חביב ואיש שיחה, אלא בעיקר בגלל העובדה שאחרי כל הדיונים והויכוחים האלה, הוא עדיין זה שכותב לי את כל הקוד.
KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.