פתרון בעיית 'הקופסה השחורה' של בינה מלאכותית: ללמוד כיצד אלגוריתמים מקבלים החלטות

בשנת 2017 פרסם פועל בניין פלסטיני בהתנחלות ביתר עילית שבגדה המערבית, ירושלים, תמונה שלו בפייסבוק בה הוא נשען על דחפור. זמן קצר לאחר מכן,משטרת ישראל עצרה אותובחשד שהוא מתכנן פיגוע, כי בכיתוב הפוסט שלו נכתב "תקוף אותם".

אלא שזה לא קרה. הכיתוב האמיתי של הפוסט היה "בוקר טוב" בערבית. אבל מסיבה לא ברורה, שירות התרגום של פייסבוק המופעל על ידי בינה מלאכותית תרגם את הטקסט "לפגוע בהם" באנגלית או "לתקוף אותם" בעברית. צבא ההגנה הישראלי משתמש בתרגום האוטומטי של פייסבוק כדי לעקוב אחר חשבונות המשתמשים הפלסטינים לאיומים אפשריים. במקרה הזה, הם בטחו מספיק ב-AI של פייסבוק כדי שלא יבדקו את הפוסט על ידי קצין דובר ערבית לפני ביצוע המעצר.

העובד הפלסטיני שוחרר בסופו של דבר לאחר שהתגלתה הטעות — אך לא לפני שעבר שעות של חקירה. פייסבוק התנצלה על הטעות ואמרה כי נקטה בצעדים כדי לתקן אותה.

ההתקדמות בלמידה עמוקה וברשתות עצביות שיפרו את הדיוק של אלגוריתמי בינה מלאכותית ואפשרו אוטומציה של משימות שנחשבו בעבר כתחום הבלעדי של האינטליגנציה האנושית. אבל לדיוק הביצועים יש מחיר לשקיפות. בניגוד לתוכנה מסורתית, לא תמיד יש לנו מושג מדויק כיצד פועלים אלגוריתמי למידה עמוקה. קשה מאוד לפתור אותן, ולעתים קרובות הן נכשלות בדרכים בלתי צפויות ובלתי מוסברות. אפילו יוצרי אלגוריתמי למידה עמוקה נלחצים לעתים קרובות לחקור ולפרש את ההיגיון מאחורי ההחלטות שלהם.

הכישלון של מערכת תרגום המכונה של פייסבוק הוא רק אחד מהמקרים הרבים שבהם האטימות של אלגוריתמי למידה עמוקה גרמה לצרות גדולות יותר.

מה שידוע כבעיית AI "הקופסה השחורה" הפך למוקד של מוסדות אקדמיים, סוכנויות ממשלתיות וחברות טכנולוגיה שחוקרותשיטות להסביר החלטות בינה מלאכותיתאו ליצור בינה מלאכותית שקופה יותר ופתוחה לחקירה.

המאמצים שלהם יהיו חיוניים לפיתוח תעשיית הבינה המלאכותית - במיוחד כאשר למידה עמוקה מוצאת את דרכה לתחומים קריטיים שבהם לטעויות יכולות להיות השלכות משנה חיים.

עלייתה של למידה עמוקה

בגישות קלאסיות ליצירת תוכנה, מפתחים מציינים בקפדנות את הכללים המגדירים את התנהגות המערכת. לעומת זאת, אלגוריתמי למידה עמוקה מפתחים את התנהגותם על ידי בחינה והשוואה של דוגמאות רבות. התפיסה והמדע מאחורי למידה עמוקה קיימים כבר עשרות שנים, אך רק בשנים האחרונות שפע הנתונים ומשאבי המחשוב דחקו אותו ממעבדות מחקר ומעבודות אקדמיות לתחומים מעשיים. ועם העלייה בפופולריות שלה, למידה עמוקה הביאה שינויים באופן שבו מפתחים יוצרים תוכנה.

עבור קייט סנקו, שעוסקת בראייה ממוחשבת מאז תחילת שנות ה-2000, השינויים הללו מוחשיים מאוד. ראייה ממוחשבת היא תחום של בינה מלאכותית המאפשרת למחשבים לעבד ולהבין את ההקשר והתוכן של תמונות וסרטונים דיגיטליים. זוהי הטכנולוגיה המשמשת במגוון רחב של תחומים, כולל סיווג תמונות, זיהוי פנים ואבחון אוטומטי של תמונות MRI ורנטגן. זהו אחד התחומים שבהם תכנות מבוסס-חוקים נקלעה לקשיים היסטוריים, מכיוון שמספר הכללים שמפתחים צריכים לרשום הוא כמעט אינסופי.

"באותם ימים, הייתה לנו גישה שונה מאוד, שבה תחילה עיצבת את התכונות שלך, והרבה מחשבה ותהליך עיצוב נכנס לזה", אמר סנקו, פרופסור חבר במחלקה למדעי המחשב באוניברסיטת בוסטון.

לדוגמה, אם מפתחים רצו לזהות חתולים, הם היו צריכים לכתוב קוד באופן ידני שיוכל לחקור תמונות עבור תכונות חתול כמו ראשים או זנבות. "תחילה תכננת את התכונות האלה, ואחר כך תכננת שיטות לחלץ את התכונות האלה. ואז היית עושה למידת מכונה על גבי התכונות", אמר סנקו.

התהליך היה מפרך וארוך מכיוון שכל אחת מהתכונות הללו יכולה להשתנות בצורה וגודלה, בהתאם למין החיה ולזווית שבה צולמה התמונה.

לעומת זאת, אלגוריתם למידה עמוקה שנועד לסווג תמונות כ"חתול" או "לא חתול" צריך לקבל רק תמונות רבות של חתולים. זה ייצור חוקים משלו כדי לקבוע כיצד לזהות חתולים בתמונות וביצועים טובים בהרבה משיטות קודמות שכללו הרבה תכונות שנכתבו ידנית. בשנת 2012, חוקרים מאוניברסיטת טורונטו השתמשו בלמידה עמוקה בפעם הראשונה כדי לזכות ב-תחרות ראיית מחשב מפורסמתולשפר את התחום בהפרש גדול. למידה עמוקה מצאה מאז את דרכה לתחומים רבים אחרים, כולל זיהוי קולי,עיבוד שפה טבעית, גילוי הונאה ואומנויות.

"הסיבה שהלמידה העמוקה כל כך מוצלחת היא כי יש מעט מאוד עיצוב שנכנס לרשתות עצביות", אמר סנקו. "אנחנו פשוט נותנים למכונה לגלות את הדפוס השימושי ביותר מתוך נתונים גולמיים. אנחנו לא הולכים להגיד לה מה לחפש. אנחנו לא הולכים לספר לה שום תכונות ברמה גבוהה. אנחנו מאפשרים לה לחפש בכל התכונות שלה נתוני אימון ומציאת דפוסים שמובילים לדיוק הגבוה ביותר בפתרון הבעיה."

האתגרים של איתור באגים בתוכנת למידה עמוקה

היתרונות ברמת הדיוק שלמידה עמוקה מספקת אינם חסרי פשרות.

"בתכנות מחשבים קלאסיות, יש לך דיוק באלגוריתם. אתה יודע בדיוק במונחים מתמטיים מה אתה עושה", אמר שלדון פרננדס, מנכ"ל DarwinAI, חברת AI מאונטריו. "עם למידה עמוקה, ההתנהגות מונעת נתונים. אתה לא רושם התנהגות למערכת. אתה אומר, 'הנה הנתונים, תבין מה ההתנהגות'. זו גישה מטושטשת וסטטיסטית מטבעה".

זה אומר שכשאתה נותן לרשת עצבית לפתח מודל התנהגותי משלה, אתה בעצם מאבד את הנראות לתהליך החשיבה שלה. ובעיקר, הפרמטרים והקשרים הפנימיים שרשתות עצביות מפתחות הם כה רבים ומורכבים עד שהם הופכים קשים מדי לבני אדם להבנה.

כפי שסינקו הסביר, בעת שימוש בלמידה עמוקה, המהנדסים חייבים לבחור "בין כמה עיצוב הנכפה על ידי אנוש מלמעלה למטה אתה מכניס למשהו כדי להפוך אותו לפרשנות יותר לעומת כמה ביצועים אתה מפסיד כתוצאה מכך."

כמו כן, ההיגיון שמתפתחת רשת עצביתלא בהכרח משקף את זה של בני אדם, למרות שהוא מייצר תוצאות מדויקות רוב הזמן.

"האתגר האמיתי של למידה עמוקה הוא שזה לא מודלים, בהכרח, את העולם שסביבו. זה מודל של הנתונים שהוא מקבל", אמר פרננדס. "והמודל הזה כולל לעתים קרובות הטיה ומתאמים בעייתיים. זה יכול לכלול מתאמים חסרי היגיון. וכל הדברים האלה יכולים למצוא את דרכם להתנהגות המערכת."

לפני זמן מה, פיתחה Seanko אלגוריתם למידה עמוקה שכתב תמונות וסרטונים בדיוק מרשים. הבעיה הייתה שאפליקציית הכיתוב שלה פיתחה הטיה לסוגים מסוימים של החלטות,בעיה שכיחה באלגוריתמים של למידה עמוקה. לדוגמה, בסרטוני בישול, זה כתוב לעתים קרובות עובדות מטבח כנשים - אפילו כשהן היו גברים. מצד שני, בסרטוני מדע, האלגוריתם נטה יותר לתייג מדענים כגברים. אבל היא לא יכלה לקבוע בוודאות מדוע הרשת עושה את הטעויות. ובלי שהיא הצליחה למצוא את הסיבות לשגיאות האלה, היא לא הצליחה לתקן אותן.

במקרים מסוימים, האטימות של אלגוריתמי AI עלולה לגרום לתסכול. אבל במקרים אחרים, אי-יכולת להסביר את ההיגיון מאחורי החלטות בינה מלאכותית יכולה להיות בעלת השלכות חמורות יותר.

בשנת 2017, פרננדז, אז מדען מחשבים ב- Avande, חברת ייעוץ IT, השתמש בלמידה עמוקה כדי לעזור לבנק בבריטניה לאתר עסקאות הונאה. הם בעצם אימנו את הרשת העצבית העמוקה עם כל הנתונים ההיסטוריים של הבנק ונתנו לו להבין בעצמו את הדפוסים שהגדירו עסקאות הונאה.

האלגוריתם שלהם הצליח לזהות הונאה ב-3 או 4 אחוזים טוב יותר מהמערכת הטובה מסוגה של הלקוח. הבעיה הייתה שלא היה להם מושג למה זה מתפקד טוב יותר. "לא הייתה לנו תובנה לגבי הנתונים שהרשת העצבית מפעילה כדי ליצור תחזיות טובות יותר", אמר פרננדז.

מטבע הדברים, הלקוח לא יוכל להקנות קבלת החלטות פיננסיות רגישות למערכת אוטומטית אם לא היה יכול להבין את ההיגיון מאחורי החלטותיו.

התעשייה הפיננסית היא אחד מכמה תחומים שבהם פרשנות הפכה לדרישה לשימוש באלגוריתמים של AI בהחלטות קריטיות. תחומים אחרים שבהם האטימות של למידה עמוקה הפכה למכשול כוללים שירותי בריאות ורפואה, גיוס עובדים ומשאבי אנוש, משפט פלילי וצבא. בכל התחומים הללו, להחלטה רעה יכולה להיות השפעה שלילית ובלתי הפיכה על הקריירה, הבריאות או החיים של אדם אחד או רבים ויכולות להיות השלכות משפטיות חמורות על האדם שמקבל החלטה זו. לכן מומחים בדרך כלל סקפטיים לגבי אמון במערכת אוטומטית שתקבל החלטות בשמם.

יתר על כן, של האיחוד האירופיתקנת הגנת מידע כללית(GDPR), שנכנס לתוקף במאי, מחייב ארגונים המשתמשים בקבלת החלטות אוטומטית לספק מידע משמעותי על המידע וההיגיון הכרוכים בהחלטות אלה כאשר משתמשים או לקוחות דורשים זאת. ה-GDPR, המחייב מבחינה משפטית עבור כל חברה וארגון שעושים עסקים באזור האיחוד האירופי, נחשבלְמַעֲשֶׂהתקן הזהב לכל חברות הטכנולוגיה המטפלות במידע אישי.

"אחת הסמכויות האמיתיות של בינה מלאכותית ניתנת להסבר היא להמחיש כיצד ה-AI מפעיל נקודות נתונים כדי להגיע להחלטה, ומעביר את נקודות הנתונים הללו לאדם לצורך אימות", אמר פרננדז.

חוקרת את הקופסה השחורה של AI

בדרך כלל ישנם שני מסלולים לקראת קבלת החלטות המתקבלות על ידי רשתות עצביות ניתנות לפירוש. הראשון, שנקרא "הסברים מקומיים", מנסה להבין את המניעים והפרמטרים מאחורי החלטות אינדיבידואליות שמתקבלות על ידי אלגוריתם AI. "הסברים גלובליים" מנסים לתאר את היגיון ההיגיון הכללי של מודל AI.

לאחר שרשתות העצבים שלה לא הצליחו לחשוף את הסיבות לכך שהן תיוגו סרטונים ותמונות בצורה שגויה, סנקו וצוות חוקרים מאוניברסיטת בוסטון עסקו בפרויקט למציאת הפרמטרים שהשפיעו על ההחלטות הללו.

מה שיצא מהמאמץ היה RISE, אשִׁיטָהשמנסה להסביר לפרש החלטות שהתקבלו על ידי אלגוריתמי AI. קיצור של "דגימת קלט אקראית להסבר על דגמי קופסה שחורה"RISE הוא מודל הסבר מקומי.

כאשר אתה מספק לרשת סיווג תמונה עם קלט תמונה, מה שהיא מחזירה היא קבוצה של מחלקות, שלכל אחת מהן יש הסתברות. בדרך כלל, אין לך תובנה כיצד ה-AI הגיע להחלטה הזו. אבל RISE מספקת לך מפת חום שמתארת ​​אילו חלקים בתמונה תורמים לכל אחת ממחלקות הפלט הללו.

למשל, ב-התמונה למעלה, ברור שהרשת המדוברת מתחשבת בין כבשים חומות לפרות, מה שאולי אומר שהיא לא הוכשרה על מספיק דוגמאות של כבשים חומות. סוג זה של בעיה קורה לעתים קרובות. בשיטת RISE הצליחה סנקו לגלות שרשתות העצבים שלה ציינו את המגדר של האנשים בסרטוני הבישול על סמך סירים ומחבתות וחפצים אחרים שהופיעו ברקע במקום לבחון את תווי הפנים והגופניים שלהם.

הרעיון מאחורי RISE הוא לטשטש באופן אקראי חלקים מתמונת הקלט ולהריץ אותה דרך הרשת העצבית כדי לראות כיצד השינויים משפיעים על משקלי הפלט. על ידי חזרה על תהליך המיסוך מספר פעמים, RISE מסוגלת להבחין אילו חלקים בתמונה חשובים יותר לכל מחלקת פלט.

מכיוון ש-RISE פועלת על ידי מניפולציה של תשומות, זוהי שיטת הסבר "קופסה שחורה", מה שאומר שהיא אגנוסטית למודל: היא יכולה לעבוד עם כל מודל בינה מלאכותית, ללא צורך לגשת לפעולה הפנימית שלו או לדוגמאות האימון שלו.

שיטות כמו RISE יכולות גם לעזור לבנות אמון עם משתמשי הקצה של אלגוריתמי AI בתחומים כמו רדיולוגיה. "כשאתה נותן לרופא ולמודל של תמונה בינה מלאכותית שיכולים להסתכל על תמונה רפואית או MRI ולזהות סרטן בדיוק גבוה מאוד, לעתים קרובות הם עדיין לא סומכים על זה כי הם לא יודעים למה הוא מקבל את ההחלטה הזו", סאנקו. אמר. RISE יכולה להבהיר מדוע בינה מלאכותית מבצעת אבחנה על ידי הצבעה אילו חלקים בתמונה היא מחשיבה רלוונטיים לתסמינים שעליהם הוא מדווח.

מחפש את מה שאין

רוב שיטות ההסבר של AI מתמקדות במה שקיים בקלט. אבל לפעמים, התמקדות במה שחסר יכולה לספק תמונה טובה יותר של ההיגיון מאחורי החלטות AI.

"אם אתה רוצה לתאר לי עמית, סוג מאוד טבעי של הסבר שאתה עשוי להשתמש בו הוא, 'יש לו שיער ארוך והוא גבוה, אבל הוא לא מרכיב משקפיים'", אמר עמית ד'ורנדהר, מדען במחקר IBM. "עם זאת, אף אחת מהשיטות שעושות הסברים מקומיים של מודלים של AI לא תופסת את הרעיון הזה במפורש."

שיטה מנוגדת להסבר(CEM), פרויקט משותף של חוקרים מ-IBM ואוניברסיטת מישיגן, מנסה לתאר החלטות שהתקבלו על ידי רשתות עצביות על ידי הצבעה על מה שהיא לא רואה בקלט. כמו RISE, CEM היא שיטת הסבר מקומית, כלומר היא מנסה לפרש החלטות אינדיבידואליות שהתקבלו על ידי אלגוריתם AI.

בעיקרון, כמו שיטות הסבר מקומיות אחרות, CEM מנסה לומר לך מדוע רשת עצבית מסוימת סיווגה את הקלט שלך בצורה מסוימת. אבל זה גם אומר לך מה אפשר להוסיף לקלט כדי לשנות את המחלקה שלו. לְמָשָׁל,התמונה למטההוצא ממסווג לספרות שהופעל דרך בדיקה CEM. בצד שמאל מוצגת תמונת הקלט המקורית והתחזית המקורית של הרשת העצבית. התמונות האמצעיות מדגישות בציאן אילו חלקים בתמונה תרמו לתחזית המקורית. בצד ימין, ההדגשות הורודות מציגות את התוספות המינימליות שעלולות להוביל לשינוי בתחזית.

כפי שהסביר Dhurandhar, אבחון רפואי הוא אחד התחומים שעומדים להפיק תועלת רבה משיטת הסבר זו, מכיוון שרופאים מגיעים למסקנות לא רק על ידי חיפוש אחר התסמינים הקיימים אלא גם על ידי חיפוש אחר אלה שנעדרים.

"אם תלך לרופא, הם ירשמו עובדות כמו האם קצב הלב שלך היה תקין. אבל הם גם יכתבו דברים כמו הפרעת קצב נעדרת והרבה דברים שלא היו נוכחים", אמר Dhurandhar. "הסיבה היא שבבדיקה הבאה שלך, אם יש לך בעיה, הרופא יידע על מה נבדקת. כמו כן, אם אתה מחליף רופא, קל לאדם השני לדעת את תהליך האבחון שלך".

לכן, עם שיטות כמו CEM, רופא יהיה במצב טוב יותר לבחון החלטה אוטומטית הן עבור הגורמים התורמים החיוביים והשליליים.

הבנת ההתנהגות הכללית של מודלים של AI

בעוד שמודלים מקומיים מועילים בחקירת החלטות AI אינדיבידואליות, חלק מהתחומים דורשים שקיפות מלאה של המודל ההתנהגותי של התוכנה שבה הם משתמשים.

לפני מספר שנים, Dhurandhar פיתח מודל למידה עמוקה שעזר לחברה לייצור שבבי מוליכים למחצה לחזות אילו שבבים צפויים להיות פגומים בהמשך פס הייצור. המודל פעל הרבה יותר טוב מתוכנת החיזוי הקודמת של החברה ואיפשר לה להשליך או לתקן שבבים בשלבי ייצור מוקדמים ולשפר את התשואה שלו בכמה אחוזים, מה שתורגם לחיסכון בעלויות של מיליוני דולרים בשנה.

אבל המהנדסים השולטים במערכת, שתפקידם היה על הקו, לא היו מוכנים לתת ל-AI לקבל החלטות מבלי לדעת בדיוק איך זה עובד. מה שהם רצו זה לשפר את התוכנה המקורית שלהם, לא להחליף אותה בקופסה שחורה, שלמרות שהיא מדויקת יותר, לא תספק להם תובנות על איך זה עובד.

"מכיוון שבתחומים רבים, יש אדם שמקבל את ההחלטה הסופית - גם אם יש לך מודל בעל ביצועים גבוהים יותר, אם האדם לא מבין, הביצועים הכוללים של המערכת עשויים להיות נמוכים יותר מאשר מודל בעל ביצועים נמוכים יותר שהאדם מסוגל להבין," אמר ד'ורנדאר.

שיפור מודלים פשוטים עם פרופילי ביטחון, שיטה נוספת להסבר בינה מלאכותית ש-Dhurandhar עזר לפתח עם חוקרים אחרים ב-IBM, מטפלת בבעיה זו על ידי ניסיון להעביר את ההתנהגות של רשתות עצביות למבני תוכנה הניתנים לפירוש. זהו מודל הסבר גלובלי, כלומר במקום לנסות לפרש החלטות אינדיבידואליות, הוא מנסה לצייר תמונה כללית של אופן הפעולה של מודל AI.

Dhurandhar מתאר את שיטת "המודלים הפשוטים המשפרים" כמנסה להשיג את "הטוב משני העולמות", כלומר להפיק תועלת מהשיפורים שרשת עצבית מספקת תוך הקפדה על אילוצים אחרים שמומחי תחום מטילים.

השיטה כוללת החדרת בדיקות תוכנה בשכבות השונות של רשת עצבית ומעקב אחר התנהגותה כשהיא מתאמנת על דוגמאות ומתפתחת. בשלבים מאוחרים יותר, אותם בדיקות מנסים לשכפל את ההתנהגות הנצפית של הרשת על עץ החלטות, מבנה מבוסס כללים או מודל אחר שניתן לפרש. במקרה של חברת המוליכים למחצה, Dhurandhar הצליח למפות את התנהגות הרשת העצבית על מבנה התוכנה שהחברה כבר השתמשה בו.

המודל שהתקבל לא התפקד כמו הרשת העצבית אך הצליח לשפר את ביצועי התוכנה המקורית של החברה במידה ניכרת תוך שמירה על יכולת הפרשנות שלה. למעשה, המהנדסים היו מוכנים להחליף חלק מהדיוק של הרשת העצבית עבור נראות ושליטה מלאה על אופן הפעולה של תוכנת החיזוי.

שימוש בבינה מלאכותית כדי להבין בינה מלאכותית

פרננדס, שהקים את DarwinAI יחד עם הפרופסור אלכס וונג מאוניברסיטת ווטרלו, הגיע להסבר בינה מלאכותית באמצעות גישה אחרת. כאיש אקדמיה, וונג, שהיה לו שנים של ניסיון בראייה ממוחשבת, עבד על טכניקה שנקראתסינתזה אבולוציונית(מכאן מגיע השם DarwinAI). סינתזה אבולוציונית נועדה להפוך רשתות עצביות ליעילות יותר על ידי התייחסות אליהן כמו אורגניזמים המתפתחים עם הזמן ומשירים את המרכיבים המיותרים שלהם כדי להתייעל.

ב-DarwinAI, Wong עזר לפתח סינתזה גנרטיבית, טכנולוגיה חדשה שמתבססת על הרעיונות של סינתזה אבולוציונית ולוקחת אותה צעד קדימה.

"הרעיון מאחורי סינתזה גנרטיבית הוא לקחת את הבינה המלאכותית בעצמה ולראות אם אנחנו יכולים להבין טוב יותר ולפתח רשתות עצביות", אמר פרננדס.

סינתזה גנרטיבית משתמשת בלמידת מכונה כדי לחקור ולהבין רשתות עצביות בצורה בסיסית. לאחר מכן הוא מפתח ייצוג מתמטי מורכב של המודל, שבו הוא משתמש כדי ליצור רשת עצבית שנייה המדויקת בדיוק כמו הראשונה אך גם קומפקטית ומהירה יותר. הפיכת רשתות עצביות קטנות יותר הופך אותן לניתנות לפריסה במל"טים (כלי טיס בלתי מאוישים), מכוניות ללא נהג ועודסביבות קצהשהם מוגבלים במשאבים או זקוקים לגישה בזמן אמת לפונקציונליות AI.

אבל תוצר לוואי של גישה זו הוא הבנה מעמיקה של האופן שבו פועלת הרשת העצבית. על ידי ניטור ותיעוד של כל האבולוציה של רשת עצבית, גישת הסינתזה הגנרטיבית של DarwinAI הצליחה להצביע על הגורמים ונקודות הנתונים שהשפיעו על כל אחת מההחלטות שרשתות העצבים שלה קיבלו.

"הייתה לנו סוג של דרך סיבובית להגיע לטכנולוגיה, אבל היא באמת חזקה בניסיון להבין איך הרשתות הנוירוניות האלה מקבלות החלטות", אמר פרננדס.

מעבר למציאת טעויות

"יש מתאמים שהם רעים בעליל, שפשוט לא אמורים לקרות, כמו הטיה. אנחנו צריכים לזהות את זה במערכת ולמגר את זה", אמר פרננדס. בעתיד, שיטות הסבר יכולות לעזור למצוא ולתקן שגיאות אלו לפני שהן יובילו למעצר לא מוצדק או להלוואה שנדחתה באופן לא הוגן.

אבל היתרונות של פירוש מודלים של למידה עמוקה מתרחבים מעבר לפתרון בעיות ותיקון שגיאות. במקרים מסוימים, הם יכולים לעזור לשפוך אור על היבטים לא ידועים בעבר של התחומים שבהם הם פרוסים.

"ההסבר יכול לעבוד גם בכיוון אחר. זה גם יכול לתת לך תובנות לגבי מתאמים שלא ידעת על קיומם", אמר פרננדס. במהלך עבודתו על יישום למידה עמוקה למגזר הבנקאי, חקר פרננדס ברשתות הניתנות לפירוש סייע לחשוף תובנות חדשות על המאפיינים של עסקאות הונאה.

לדוגמה, הודות ל-AI שניתן להסביר, הם גילו שאם אדם משתמש בדפדפן כרום, הסיכוי שעסקה תהיה הונאה גבוהה יותר מאשר אם הוא משתמש ב-Internet Explorer או Safari. וזה בגלל שכאנשים טכניים, פושעי סייבר נוטים הרבה יותר להשתמש בכרום ולא בדפדפן המותקן מראש של מערכת ההפעלה שלהם.

במקרה אחר הצליחה סוכנות נסיעות לגלות שיש אנשים שהתעניינו בבתי מלון הממוקמים בפינות רחוב. מאוחר יותר הם הוסיפו זאת כאופציה עבור הלקוחות שלהם.

"קבלת התובנות הללו חשובה לא פחות כמו מיגור ההטיה, כי התובנות הללו בעלות ערך לעסקים", אמר פרננדס.