כשהעין האנושית פוגשת רשת נוירונים: פיתוח ישראלי מלמד AI לראות אחרת
חוקרים ממכון ויצמן למדע הראו שבאמצעות חיקוי של פעולת המוח האנושי אפשר ללמד בינה מלאכותית לפענח סמלים זעירים ברזולוציה נמוכה מאוד, בהצלחה שעולה על מערכות קיימות ובצורה חסכונית יותר
תמונה: Unsplash
מאת: טל סוקולוב
הבינה המלאכותית מתחרה כיום בביצועיהם של בני האדם במגוון גדל והולך של תחומים. האם היא תצליח להתחרות גם בחוש הראייה שלנו? מחקר חדש שנעשה במכון ויצמן למדע מנסה ליישם במערכת מלאכותית את אחד הכלים המפתיעים והמתוחכמים שהטבע העניק למערכת הראייה שלנו – והתוצאות מרשימות.
אנחנו מסוגלים לראות פרטים קטנים במיוחד, בסדר גודל שהרשתית בעין שלנו לא אמורה להיות מסוגלת לזהות, לכאורה. תופעת חדות היתר (Hyperacuity), שמוכרת אצל בני אדם כבר עשרות שנים, מתאפשרת בזכות הפעילות היעילה במיוחד של מערכת הראייה הביולוגית שלנו. כעת מנסים לגייס את היתרונות הללו כדי לשדרג את הביצועים של מערכות בינה מלאכותית במשימות חזותיות.
החוקרים הצליחו לאמן רשת נוירונים – סוג של מערכת ממוחשבת לעיבוד מידע – אך קטנה ויעילה יותר מהרשתות המקובלות, למשימת זיהוי מאתגרת במיוחד: סיווג סמלים זעירים, ברמת הפרדה (רזולוציה) שאינה ברורה אפילו לעין האנושית. ייעול פעולתה של מערכת מלאכותית בהשראת מערכת ביולוגית מסייע לנו להבין לעומק את התהליך הביולוגי, ובו בזמן מאפשר לדחוף את המערכת המלאכותית לרמות ביצועים חדשות.
דומה אך שונה
היכולות המתקדמות של מערכות בינה מלאכותית כיום מתאפשרות בין השאר בזכות מנגנונים שמקבילים במידה מסוימת לפעילות המוח. המבנה שלהן כולל יחידות עיבוד רבות שמקושרות אלה לאלה. במוח, יחידות העיבוד הן תאי העצב, הקרויים גם נוירונים. ההערכה היא שמספר הקשרים במוח של אדם בוגר מגיע לעשרות טריליונים. מודלי בינה מלאכותית מבוססים על רשתות נוירונים מלאכותיות, ששמן אומנם הושאל מהמערכת הטבעית, אך היחידה הבסיסית בהן הרבה יותר פשוטה. רשתות מלאכותיות שנוצרו לצורך עיבוד תמונות מגיעות לעשרות מיליארדי קשרים.
בדומה לאופן שבו ילד לומד לקשר בין מילה וחפץ, בינה מלאכותית לומדת על יסוד חשיפה לדוגמאות רבות וזיהוי מה שמאחד ביניהן. כשמדובר בבינה מלאכותית מספר הדוגמאות יכול להגיע למיליונים ואף יותר. כלל האצבע המרכזי והנגיש ביותר לשיפור מודלי הבינה המלאכותית הוא “יותר”. ככל שיש ברשת יותר יחידות עיבוד ויותר קשרים ביניהם, ומזינים לתוכה יותר מידע, ביצועיה משתפרים.
כלל הגדילה הזה נצפה לאורך עשרות שנות פיתוח של רשתות נוירונים מלאכותיות. במהלך השנים הללו, מנגנוני הפעולה של הרשתות הסתבכו והלכו, עד שכיום קשה לפענח איך הן פועלות. הרשתות מתפקדות כמעט כמו קופסה שחורה, וקל יותר להמשיך להגדיל אותן מאשר לפענח את אופן הפעולה כדי לחפש דרכים יעילות יותר לשפר את ביצועיהן.
אבל אי אפשר להמשיך להגדיל את הרשתות בלי הגבלה. מרכזי הנתונים שמאחסנים את המודלים ואת מאגרי המידע שמערכות בינה מלאכותית מסתמכות עליהם צורכים הרבה אנרגיה והשפעתם על הסביבה משמעותית, הגדלה שלהם תחמיר את המצב, אבל זו לא המגבלה היחידה. אי אפשר להפעיל מערכות גדולות במיוחד באמצעות חומרה אישית כמו מחשב נייד או התקן אחסון ביתי, שכן הן דורשות הרבה יותר משאבים; תשתיות ענק, אמצעי חישוב, אספקת חשמל ואמצעי אחסון שאפשר לגשת אליהם רק דרך שירותי ענן רחוקים.
במצב כזה, משימות שדורשות עיבוד מהיר ומקומי עלולות להיפגע. מכונית אוטונומית, לדוגמה, לא תרוויח דבר מניווט באמצעות רשת שיודעת לזהות ביעילות רבה הפרעות בכביש, אם משך העיבוד של התמונה, הכולל העברת נפח נתונים עצום דרך האינטרנט לשרת רחוק בענן ובחזרה, ארוך יותר ממשך התגובה הנחוצה בכביש.
ובכל זאת, המוח מבצע משימות זיהוי כאלה ביעילות, בהספק חשמלי נמוך יותר מזה של מנורה ביתית. בשיחה עם אתר מכון דוידסון ציין ראש צוות המחקר פרופ’ אהוד אחישר שיש הבדלים מהותיים בין מנגנוני התפיסה של המוח לאלו של רשתות נוירונים מלאכותיות, ושההבדלים הללו עשויים לעמוד מאחורי הפערים בביצועים: “בעוד שרשת נוירונים לזיהוי תמונה נחשפת לקלט יציב, של תמונות שמוצגות כאוסף של ערכי עוצמת אור, החישה של המוח היא חישה פעילה. כשאנו צופים בעצם, איברי מערכת הראייה שלנו זזים כל הזמן, ושינויי עוצמות האור הנקלטים בעין מומרים לשטף מתמשך של פעילות עצבית, גם אם העצם דומם“. כך שהמבט שלנו אף פעם לא קבוע.
כשאנחנו מביטים בתמונה העין שלנו מבצעת תנועות מהירות שמכונות סקאדות, שמאפשרות להתמקד בפרטים משמעותיים, ותנועות איטיות שמכונות דריפט, ש"ממששות" את התמונה | מקור: רענן גפן ולאוניד ינוביץ, Nano-Retina inc, ויקיפדיה
הבדל נוסף הוא אופן קידוד המידע. כשרשת נוירונים מלאכותית נחשפת לסרט, שמורכב מפריימים, היא מעבדת שוב ושוב את ערך כל הפיקסלים של כל תמונה – הנקודות שמהן התמונה מורכבת, גם אם רק דמות קטנה נעה במרכז התמונה. המוח שלנו פועל אחרת. הוא רגיש מאוד לשינויים ומתמקד בעיקר בהם. הרשתית בעין מגיבה בעיקר לשינויים בעוצמות אור, ומעקב אחרי תנועות העיניים מגלה שהן אוספות מידע בעיקר מאזורים בתמונה שהיו בהם תנועות, שינויי בהירות וגוון וכיוצא בזה.
עיבוד מבוסס אירועים פועל בצורה אסינכרונית, כלומר באופן שאינו בו-זמני. כשחושפים רשת נוירונים מלאכותית רגילה לסרט, הקלט שהיא מקבלת מורכב מפריימים שנדגמו בקצב קבוע ואינו תלוי בקצב המאורעות המתועדים. לדוגמה 25 או 50 פריימים בשנייה. לעומת זאת, עיבוד מבוסס אירועים יכול להיות מדויק יותר במה שנוגע לזמן, וגם יעיל יותר מכיוון שהוא לא מתעכב לתעד מחדש מידע קבוע.
במעבדה במכון ויצמן מייחסים לקידוד הזמן תפקיד מהותי במנגנון העיבוד של מערכת הראייה, אם כי הטענה הזאת עדיין שנויה במחלוקת. “המוח משתמש לא רק במידע המרחבי אלא גם בהפרשי הזמנים שבין תגובות תאי הרשתית בתהליך הפענוח של המידע החזותי“, אומר אחישר.
ולבסוף, בניגוד לרשת נוירונים מלאכותית, מערכת הראייה הביולוגית פועלת בלולאה סגורה. המוח קולט תמונה משתנה, בעקבות תגובתו העין משנה את תנועתה וכך התמונה שהמוח קולט משתנה וחוזר חלילה. תהליך התפיסה, על כן, תלוי בדינמיקה מתמשכת בין פעילות לתגובה. רשת נוירונים מלאכותית, לעומת זאת, מקבלת בדרך כלל קלט יחיד ומחזירה בתשובה פלט יחיד.
סופר-רזולוציה
לפי אחישר, כדי לשפר את הביצועים של מערכות עיבוד תמונה מלאכותיות עלינו לצמצם את הפערים בין פעילות המערכת המלאכותית למערכת הטבעית. במאמר החדש מציגים החוקרים במעבדתו, אלדד אסא, סשה (אלכסנדר) ריבקינד ומיכאל קרייסרמן, בשיתוף עם חוקרים מאיחוד האמירויות, פאהד חאן וסלמן חאן, איך עיבוד תמונות חסכוני באנרגיה שמתבסס על אירועים, יכול להפיק תוצאות שעולות על אלה שמפיקה שיטת עיבוד התמונה הרווחת היום. הם גם מראים כי ההצלחה של המערכת נובעת משימוש בחישה פעילה, שרגישה לשינויים הנקלטים במצלמה ולתזמון המדויק שלהם.
החוקרים יצרו מאגר מידע של תמונות קטנות ברזולוציה נמוכה המבוסס על מאגרי סמלים, שמכילים עשרות אלפי תמונות קטנות אך ברורות של סְפָרוֹת, סימני כתב יפניים או פרטי לבוש, ברזולוציה של 28X28, כלומר 784 פיקסלים. מדובר בסמלים שמשמשים באופן שגרתי לבחינת ביצועיהן של מערכות בינה מלאכותית לעיבוד תמונה. כדי להקשות עוד יותר הקרינו החוקרים את הסמלים על מסך והציבו מולו מצלמה שצילמה אותם מרחוק, כך שבפועל התמונה נקלטה בגודל של 25 פיקסלים לכל היותר, רזולוציה שגם עין אנושית מתקשה לפענח. התמונות שהתקבלו הוזנו לרשת נוירונים שמתמחה בסיווג עצמים.
המצלמה הורחקה מהמסך כך שהסמלים תופסים רק 5X5 פיקסלים בחיישן המצלמה | מקור: Assa et al. 2026
כדי להתקרב למבט הטבעי השתמשו החוקרים במצלמת אירועים – מכשיר אופטי שמתעד רק את השינויים בבהירות הפיקסלים, שהתקבלו באמצעות הנעה קלה של המצלמה בזמן הצילום. כל פיקסל בחיישני המצלמה תיעד את הזמן המדויק שבו התרחשו השינויים שקלט, והחוקרים הזינו רצפים של עד 128 אירועי שינוי בהירות לרשת שאומנה במיוחד לעבד אירועים ולא פריימים רגילים כמקובל. גודל הרשת – כשישה מיליון רכיבים – עמד על מחצית מגודלה של רשת עיבוד תמונות רגילה.
השוואה בין הקלטה מבוססת פריימים להקלטה מבוססת אירועים. למעלה: הקלטה מבוססת פריימים מתעדת בכל נקודת זמן את התמונה המלאה במרווחי זמן קבועים. למטה: הקלטה מבוססת אירועים מתעדת רק את השינוי בבהירות, באופן רציף | מקור: TimoStoffregen, wikipedia
החוקרים הראו שככל שהרשת שלהם נחשפה ליותר אירועי שינוי בהירות בפיקסלים, יכולת הזיהוי שלה השתפרה. הם הצליחו לאמן את הרשת לזהות כמעט 95 אחוז מהתמונות הזעירות. משמעותית אף יותר הייתה העובדה שכשהרשת צפתה ב-100-80 אירועים שתיעדו את העצם הזעיר, היא הצליחה לסווג תמונות ברזולוציה נמוכה בצורה מדויקת יותר מרשת רגילה.
לאחר מכן בחנו החוקרים מה קורה כשמשבשים מעט את חתימת הזמן המתועדת במצלמת האירועים, כך שהזמן המתועד לא תואם לגמרי את מהירות התנועה של מצלמת האירועים. הניסוי הראה שככל שהסטיות בחותמת הזמן היו גדולות יותר, ביצועי הרשת הידרדרו. זוהי ראיה לכך שהרשת הסתייעה לצורך זיהוי התמונה בתזמונים המדויקים של האירועים.
החוקרים הראו גם שהאסינכרוניות של מסד הנתונים מבוסס האירועים מאפשרת לשפר את תהליך הלמידה של הרשת בלי להגדיל את מסד הנתונים. כיוון שהתיעוד המבוסס על אירועים מגיב לשינויים, ולא דוגם את התמונה בזמנים קבועים, מקטעים שונים ברצף אירועים כזה לא ייראו דומים זה לזה. בניגוד לסרטון מבוסס פריימים, שבו חמש שניות קבועות יכולות להיות דומות מאוד לחמש שניות אחרות, בלי להעשיר את המידע המתקבל, העובדה שמקטעים של רצף אירועים שונים זה מזה מאפשרת לקטוע את הרצף במקומות שונים וליצור רצפים שנבדלים אלה מאלה.
החוקרים הראו לראשונה שמערכת זיהוי חזותית קטנה מהרגיל, שמשתמשת בחישה מבוססת אירועים אשר קרובה יותר בתפקודה למערכת הראייה הטבעית, יכולה לנצח את המערכות הקיימות במשימת זיהוי מאתגרת במיוחד: זיהוי סמלים ברזולוציה נמוכה מאוד שאפילו העין האנושית מתקשה לזהות.
חיקוי ביולוגי מלא
הראייה הטבעית שלנו עולה ביכולותיה על סך כל היכולות הנקודתיות של הרכיבים שבה. לדוגמה אנחנו לא ערים לכתם העיוור שיש לנו בכל עין, כיוון שהמוח שלנו משלים את הפרטים החסרים בתמונה. אנחנו גם לא מבחינים בכך שהראייה ההיקפית שלנו פחות חדה ממרכז שדה הראייה שלנו, ורוב הזמן אנו מתעלמים גם מקיומו של האף שלנו. מערכת הראייה מפצה היטב על מגבלותיה בזכות שלל שכלולים בפעילותה, שרבים מהם עדיין איננו מבינים לעומק.
בנייה של מערכות מלאכותיות והשוואתן למערכות טבעיות משרתת את שני צידי המטבע. ככל שמדענים יבינו טוב יותר איך הטבע פועל, מפתחים יוכלו לנסות ליישם את המנגנונים הללו כדי לשפר מערכות מלאכותיות. מנגד, פיתוח הטכנולוגיה יכול לשרת אף הוא את הבנת המערכת הביולוגית.
הבנת המערכות הטבעיות היא משימה סבוכה ומאתגרת, שכן אלה מערכות מורכבות להפליא ולא תמיד נגישות למחקר מעמיק. אם מערכת מלאכותית מציגה ביצועים דומים מספיק למערכת טבעית, אפשר לנתח את הביצועים שלה כדי להבין טוב יותר את המערכת הטבעית.
החזון של אחישר ושל אחרים שעוסקים בנקודות ההשקה שבין מדעי המחשב, ההנדסה והביולוגיה, הוא לשאוף לביומימטיקה שלמה יותר: חיקוי כמה שיותר מדויק של עקרונות הפעולה הביולוגיים באמצעים הנדסיים. מבחינתו, הצעד הבא בתחום מערכות הראייה יהיה מימוש של מערכת משוב סגורה. במערכת כזאת, המצלמה לא רק תזין את הרכיב המעבד במידע אלא גם תקבל ממנו משוב שיכוון את אופן איסוף המידע.
בשנים האחרונות חלו קפיצות מדרגה גדולות ביכולות של כלי בינה מלאכותית ובאופן שבו מערכות כאלה משרתות אותנו. לדעת רבים, כדי שההתקדמות הזאת תמשיך לא די בכך שנגדיל את מסדי הנתונים ואת מבני הרשתות. הגיעה השעה לייעל אותם בהתאם למשימות ייעודיות. הטבע הוא מקור השראה שהתעצב לאורך האבולוציה בצורה שמאפשרת לנו לחוש, לעבד ולהגיב לסביבה בצורה היעילה ביותר. ככל שנלמד יותר על הטבע, נוכל לשכלל מערכות מלאכותיות. בד בבד ככל שהשכלול המלאכותי יצליח כך נזכה להעמיק את ההבנה שלנו על הטבע.
KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.