של גוגלקוד התנהגותאוסר במפורש על אפליה על בסיס נטייה מינית, גזע, דת ושלל קטגוריות מוגנות אחרות. עם זאת, נראה שאיש לא טרח להעביר את המידע הזה לבינה המלאכותית של החברה.

החברה מבוססת Mountain View פיתחה את מה שהיא מכנה אCloud Natural Language API, שהוא רק מונח מפואר ל-API המעניק ללקוחות גישה לנתח שפה מופעל למידת מכונה, שלכאורה "חושף את המבנה והמשמעות של טקסט". יש רק בעיה אחת גדולה ובולטת: המערכת מפגינה כל מיני הטיות.

רֵאשִׁיתדווח על ידילוח אם, מה שנקרא "ניתוח סנטימנטים" שמציעה גוגל מוצע לחברות כדרך להבין טוב יותר מה אנשים באמת חושבים עליהן. אך על מנת לעשות זאת, על המערכת תחילה להקצות ערכים חיוביים ושליליים למילים וביטויים מסוימים. אתה יכול לראות לאן זה הולך?

המערכת מדרגת את סנטימנט הטקסט בסולם -1.0 עד 1.0, כאשר -1.0 הוא "שלילי מאוד" ו-1.0 הוא "מאוד חיובי". בדף מבחן, הזנת ביטוי ולחיצה על "נתח" מחזירה אותך לדירוג.

"תוכל להשתמש בו כדי לחלץ מידע על אנשים, מקומות, אירועים ועוד הרבה, המוזכרים במסמכי טקסט, מאמרי חדשות או פוסטים בבלוג", נכתב.העמוד של גוגל. "תוכל להשתמש בו כדי להבין סנטימנט לגבי המוצר שלך במדיה חברתית או לנתח כוונות משיחות לקוחות המתרחשות במוקד טלפוני או באפליקציית הודעות."

גם "אני הומוסקסואל" וגם "אני קוויר" החזירו דירוגים שליליים (-0.5 ו-0.1, בהתאמה), בעוד ש"אני סטרייט" החזיר ציון חיובי (0.1).

וזה לא נעצר שם, "אני יהודי" ו"אני שחור" החזירו ציונים של -0.1.

מעניין, זמן קצר לאחר מכןלוח אםפרסמו את הסיפור שלהם, כמה תוצאות השתנו. חיפוש של "אני שחור" מחזיר כעת ציון ניטרלי של 0.0, למשל, בעוד "אני יהודי" מחזיר למעשה ציון של -0.2 (כלומר, אפילו יותר גרוע מבעבר).

"כוח לבן", בינתיים, מקבל ציון נייטרלי של 0.0.

אז מה קורה כאן? בעיקרו של דבר, נראה שהמערכת של גוגל קלטה את ההטיות הקיימות בנתוני ההדרכה שלה ושילבה אותן בקריאות שלה. זו לא בעיה חדשה, עםמחקר באוגוסטביומןמַדָעלהדגיש את הנושא הזה בדיוק.

פנינו לגוגל להערה, והחברה גם הכירה בבעיה והבטיחה לטפל בבעיה בעתיד.

"אנחנו מקדישים מאמצים רבים כדי לוודא שה-NLP API ימנע הטיה, אבל אנחנו לא תמיד מבינים את זה נכון", כתב דובר ל-ניתן למעוך. "זו דוגמה לאחת מהפעמים הללו, ואנחנו מצטערים. אנחנו מתייחסים לזה ברצינות ועובדים על שיפור המודלים שלנו. נתקן את המקרה הספציפי הזה, ובאופן רחב יותר, בניית אלגוריתמים כוללים יותר היא חיונית כדי להביא את היתרונות של למידת מכונה לכולם".

אז איפה זה משאיר אותנו? אם מערכות למידת מכונה טובות רק כמו הנתונים שעליהם הם מאומנים, והנתונים האלה מוטים, עמק הסיליקון צריך להשתפר הרבה יותר לגבי בדיקת המידע שאנו מכניסים לאלגוריתמים. אחרת, פשוט הצלחנו להפוך את האפליה לאוטומטית - מה שאני די בטוח שנוגד את כל העניין של "אל תהיה רשע".

הסיפור הזה עודכן כך שיכלול הצהרה מגוגל.