אם השנים האחרונות לימדו אותנו משהו, זה שאסור לסמוך על אלגוריתמים בצורה עיוורת.

כאב הראש האחרון שנגרם על ידי מתמטיקה מגיע מאוסטרליה, שם נראה שמערכת ציות אוטומטית מוציאה הודעות שגויות לכמה מהאנשים הפגיעים ביותר באוסטרליה, ומבקשת מהם להוכיח שהם זכאים להטבות רווחה בעבר.

פוליטיקאים ותומכי הקהילה קראו לרעה על המערכת, שהופעלה על ידי ספק השירותים החברתיים של אוסטרליה, Centrelink.

ראה גם:

המערכת, שהושקה ביולי, נועדה לייעל את איתור תשלומי יתר המועברים למקבלי רווחה ולהוציא הודעות אוטומטית על אי התאמות.

התקשורת ושרשורי Redditמאז היומוצף בתלונותמאנשיםמי אומרהם מואשמים שהם "רמאות רווחה" ללא סיבה, הודות לנתונים שגויים.

הבעיה נעוצה בקושי לכאורה של האלגוריתם להתאים במדויק את נתוני משרד המס עם רשומות Centrelink,לְפִיאתאַפּוֹטרוֹפּוֹס, למרות שאמר דובר המחלקה האנק ג'ונגןניתן למעוךהוא נשאר "בטוח" במערכת.

"לאנשים יש 21 ימים מתאריך המכתב שלהם להיכנס לאינטרנט ולעדכן את המידע שלהם", אמר. "המחלקה נחושה להבטיח שאנשים יקבלו את המגיע להם, לא יותר ולא פחות".

הפוליטיקאי העצמאי אנדרו ווילקי האשים את מערכת "היד הכבדה" בהפחידת הקהילה.

"המשרד שלי עדיין מוצף בשיחות ומיילים מכל רחבי הארץ המספרים סיפורים על איך אנשים נחשבו אשמים עד שהוכחה חפותם ונשלחו למוכסי החובות באופן מיידי", הואאמר בהצהרהבתחילת דצמבר.

המצב מרגיז אם כי לא מפתיע. קריאת הצפירה של ביג דאטה הוכיחה את עצמה כבלתי ניתנת לעמוד בפני ממשלות ברחבי העולם, ועוררה ממהר לבצע אוטומציה ודיגיטציה.

מה שנראה שהפוליטיקאים האלה אוהבים, מעל לכל, הוא שאלגוריתמים כאלה מבטיחים מהירות ופחות שעות עבודה.

אלן טודג', השר לשירותי אנוש,הכריז בגאווהשהמערכת של Centrelink פרסמה 20,000 "התערבויות ציות" בשבוע בדצמבר, לעומת 20,000 קודמים בשנה כשהתהליך היה ידני. קפיצה כזו נראית מדהימה, ואולי מסוכנת.

כפי שמגדירה מדען הנתונים קאתי אוניל בספרה האחרוןנשק להשמדת מתמטיקה, השיפוטים שנעשו על ידי אלגוריתמים השולטים בכל דבר, החל מציוני האשראי שלנו ועד לתשלומי הפנסיה שלנו יכולים בקלות להיות שגויים - הם נוצרו על ידי בני אדם, אחרי הכל.

היישומים המונעים על ידי מתמטיקה המניעים את כלכלת הנתונים התבססו על בחירות שנעשו על ידי בני אדם שאינם יכולים לשגות. חלק מהבחירות הללו ללא ספק נעשו מתוך הכוונות הטובות ביותר. אף על פי כן, רבים מהמודלים הללו קודדו דעות קדומות אנושיות, אי הבנה והטיה לתוך מערכות התוכנה שניהלו יותר ויותר את חיינו. כמו אלים, המודלים המתמטיים הללו היו אטומים, פעולתם בלתי נראית לכל פרט לכמרים הגבוהים בתחומם: מתמטיקאים ומדעני מחשב.

מערכות עכורות אלו יכולות להטיל את העונש הגדול ביותר על הפגיעים ביותר.

קח, למשל, אProPublicaדִוּוּחַשמצא שאלגוריתם בשימוש בגזר הדין הפלילי האמריקאי כדי לחזות את הסבירות של הנאשם לבצע פשע עתידי היה מוטה כלפי אנשים שחורים. התאגיד שהפיק את התוכנית, Northpointe, ערער על הממצא.

אוניל גם מפרטת בספרה כיצד תוכנת שיטור חזוי יכולה ליצור "לולאת משוב מזיק" בשכונות עם הכנסה נמוכה. תוכנות מחשב אלו עשויות להמליץ ​​על אזורים לסיור כדי להתמודד עם פשעים בעלי השפעה נמוכה כמו שוטטות, לייצר יותר מעצרים, וכך ליצור את הנתונים שגורמים לשכונות הללו לפטרל עוד יותר.

אפילו גוגל לא מבין נכון. באופן מדאיג, בשנת 2015, מפתח אינטרנט זיהה את האלגוריתמים של החברהתיוג אוטומטישני אנשים שחורים בתור "גורילות".

מדען הנתונים לשעבר של קיקסטארטר, פרד בננסון, המציא מונח טוב לתפיסת המשקפיים הוורודות של מה שמספרים יכולים לעשות: "מתמטיקה".

"ניתן לחשוב על שטיפה מתמטית על שימוש במונחים מתמטיים (אלגוריתם, מודל וכו') כדי לנייר על מציאות סובייקטיבית יותר", אמר.Technical.ly בראיון. כפי שהוא ממשיך לתאר, לעתים קרובות אנו מאמינים שתוכנות מחשב מסוגלות להשיג אמת אובייקטיבית מחוץ להישג ידנו, בני האדם - אנחנו טועים.

"מוצרים מונעי אלגוריתם ומוצרים מונעי נתונים תמיד ישקפו את בחירות העיצוב של בני האדם שבנו אותם, וזה חסר אחריות להניח אחרת", אמר.

הנקודה היא שאלגוריתמים טובים רק כמונו. ואנחנו לא כל כך טובים.