חוקרי ויצמן משחזרים תמונות מפעילות מוחית — עם שעה של נתונים מנבדק חדש
מודל Brain-IT ממעבדתה של פרופ׳ מיכל אירני משחזר תמונות מסריקות fMRI. שעה של נתונים מנבדק חדש הספיקה במחקר לביצועים הדומים לשיטות קודמות שאומנו על 40 שעות.
מערכת בינה מלאכותית שפותחה במכון ויצמן למדע מצליחה לשחזר תמונות שאנשים ראו באמצעות נתוני הפעילות המוחית שלהם. המודל, Brain-IT, פותח במעבדתה של פרופ׳ מיכל אירני, בשיתוף רומן בלי, עמית זלצר, יהונתן קוגמן ונווה וסרמן. המחקר התקבל לכנס ICLR 2026.
במחקר הושגו שחזורים המבוססים על שעה אחת של נתוני fMRI מנבדק חדש, באיכות דומה לזו של שיטות קודמות שנזקקו לנתונים בהיקף של 40 שעות. מדובר בהתאמת מערכת שכבר אומנה למוח נוסף: הנתון אינו אומר שאפשר לבנות את המערכת כולה משעה אחת של סריקות.
איך מתרגמים פעילות מוחית לתמונה?
fMRI מודד בעקיפין פעילות מוחית באמצעות שינויים הקשורים לזרימת הדם. כדי ללמוד את הקשר בין תמונה לתגובת המוח, מערכות שחזור זקוקות לדוגמאות רבות של תמונות ושל הסריקות שנמדדו בזמן הצפייה בהן. איסוף הנתונים דורש זמן רב בתוך מכשיר MRI.
החוקרים השתמשו במאגר Natural Scenes Dataset, הכולל נתונים משמונה נבדקים שצפו באלפי תמונות. אחד הקשיים הוא שתמונה זהה מעוררת דפוסי פעילות שונים אצל אנשים שונים. המערכת מחפשת קבוצות של יחידות נפח במוח, ווקסלים, בעלות תגובות תפקודיות דומות, ומשתמשת בהן להעברת מידע בין אזורים ובין נבדקים.
הרכיב המרכזי, Brain Interaction Transformer, משלב מידע מאותן קבוצות ומנבא שני סוגי מאפיינים של התמונה. מאפיינים סמנטיים מכוונים את המודל לתוכן המתאים, כגון סוג העצם שמופיע בתמונה. מאפיינים מבניים מספקים מידע על הסידור הגס של התמונה. השילוב מנחה מודל מחולל, המבוסס על דיפוזיה, ביצירת השחזור.
להרחיב את האימון באמצעות מידע סינתטי
לצד המפענח, הממיר פעילות מוחית לתמונה, פיתח הצוות מקודד שמנבא פעילות מוחית מתוך תמונה. כך אפשר להשתמש בתמונות נוספות ולהפיק עבורן נתוני פעילות חזויים לצורך אימון. אלה נתונים סינתטיים שהמודל מייצר; הם אינם סריקות שנמדדו בפועל אצל נבדקים.
לפי הצוות, המקודד זיהה 128 קבוצות תפקודיות משותפות הקשורות לעיבוד חזותי. קבוצות כאלה עשויות לסייע בחקר ארגון מערכת הראייה, גם כשמיקומן האנטומי משתנה בין אנשים. בדף תוצאות המחקר מדווחים החוקרים על יתרון ביחס לשיטות ההשוואה בשבעה מתוך שמונה מדדים, בתוצאות שמוצעו על פני ארבעה נבדקים במאגר.
מה המערכת עדיין אינה עושה?
הניסויים עסקו בתמונות שהוצגו לנבדקים בזמן סריקה. התוצאות אינן מוכיחות יכולת לקרוא מחשבות חופשיות, כוונות או חלומות, ואינן בדיקה קלינית באוכלוסייה רחבה. גם שחזור משכנע למראה הוא תמונה שמודל מייצר מתוך מדידות עקיפות, ולא צילום של מה שמתרחש במוח.
במעבדה בוחנים הרחבה למידע קולי. פענוח רצף חזותי מהיר מציב קושי נוסף: התמונות מתחלפות מהר יותר מקצב המדידה של fMRI. האפשרות לשחזור חלומות נשארת בשלב זה כיוון מחקר עתידי.
שאלות ותשובות
האם זו קריאת מחשבות?
המחקר הדגים שחזור של תמונות שנצפו בתנאי ניסוי, מתוך נתוני סריקה. הוא אינו מדגים פענוח כללי של מחשבות.
מה משמעות שעה אחת של נתונים?
זו כמות הנתונים שנדרשה להתאמת המודל לנבדק חדש לאחר אימון מוקדם, במסגרת ההשוואה שביצעו החוקרים.
האם השחזור תמיד מדויק?
לא. החוקרים מדווחים על שיפור במדדי השוואה; עדיין מדובר בשחזור חישובי שעלול לכלול שגיאות.
המאמר המדעי
Brain-IT: Image Reconstruction from fMRI via Brain-Interaction Transformer — התקבל ל־ICLR 2026
עוד בנושא באתר הידען
KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.