שנים לאחר שננסי לובלין ייסדה את Crisis Text Line ב-2013,היא פנתה לדירקטוריון עם הזדמנות: מה אם הם ימירו את מאגר נתוני המשתמשים והתובנות של העמותה לתוכנית הכשרה ארגונית מבוססת אמפתיה? האסטרטגיה העסקית יכולה למנף את שורת הטקסט של משבראיסוף וניתוח נתונים מרשימים, יחד עם שיעורים על הדרך הטובה ביותר לנהל שיחות קשות, ובכך ליצור זרם הכנסה נחוץ עבור ארגון צעיר הפועל בתחום בריאות הנפש הממומן עד מאוד.

שירות ההתערבות במשבר דווקא מצליח כעת; זה הכניסהכנסות של 49 מיליון דולר ב-2020הודות לתרומות מוגברות מתומכי תאגידים כדי לענות על צרכים והתרחבות הקשורים למגפה, כמו גם סבב חדש של מימון פילנתרופי. אבל בשנת 2017, ההכנסה של Crisis Text Line הייתה יחסית2.6 מיליון דולר זעומים. כאשר לובלין הציע את החברה למטרות רווח, מועצת המנהלים של הארגון הייתה מודאגת מהקיימות ארוכת הטווח של Crisis Text Line,לפי חשבון שפרסמה לאחרונה חברת ההנהלה המייסדת danah boyd.

הרעיון להקים מיזם למטרות רווח מ-Crisis Text Line העלה שאלות אתיות מורכבות לגבי האם הסמסים באמת הסכימו למונטיזציה של השיחות האינטימיות והפגיעות שלהם עם יועצים, אבל הדירקטוריון אישר את ההסדר.החברה החדשה, הידועה בשם לוריס, הושקה ב-2018במטרה להעניק הדרכת "מיומנויות רכות" ייחודיות לחברות.

עם זאת, לא היה ברור של-Crisis Text Line היה הסכם לשיתוף נתונים עם לוריס, שסיפק לחברה גישה לטקסטים מטופחים ואנונימיים של משתמשים,עובדה שפוליטיקו דיווחה עליה בשבוע שעבר. הסיפור הכיל גם מידע על המודל העסקי של לוריס, שמוכר תוכנות ארגוניות לחברות במטרה לייעל את שירות הלקוחות. ביום שני, נציב תקשורת פדרלי לתקשורת ביקש מהעמותה להפסיק את יחסי שיתוף הנתונים שלה, וקרא להסדר"דיסטופי באופן מטריד" במכתבל-Crisis Text Line ולהנהגת לוריס. באותו יוםCrisis Text Line הודיעה כי החליטה לסיים את ההסכםוביקש מלוריס למחוק את הנתונים שקיבלה בעבר.

"ההחלטה הזו הכבידה עליי מאוד, אבל כן הצבעתי בעדה", כתב בויד על הסמכת לובלין להקים את לוריס. "אם אני יודע את מה שאני יודע עכשיו, לא הייתי יודע. אבל בדיעבד תמיד ברור יותר."

למרות שההכנסות מלורייס אמורות לתמוך ב-Crisis Text Line, החברה לא מילאה תפקיד בגידול בהכנסות של העמותה בשנת 2020, לדברי שון רודריגז, סגן נשיא והיועץ הכללי של Crisis Text Line. ובכל זאת, המחלוקת על ההחלטה של ​​Crisis Text Line לייצר רווחים מהנתונים שנוצרו על ידי אנשים המבקשים עזרה תוך שהם חווים מצוקה פסיכולוגית או רגשית אינטנסיבית הפכה למקרה בוחן באתיקה של ביג דאטה. כאשר אלגוריתמים מתחילים לעבוד על מערך נתונים עצום, הם יכולים לספק תובנות חדשות, שחלקן יכולות ממש להציל חיים.בסופו של דבר, Crisis Text Line השתמשה בבינה מלאכותית כדי לקבוע אילו טקסטים נמצאים בסיכון גבוה יותר, ולאחר מכן הצב אותם גבוה יותר בתור.

אולם ההבטחה לפריצות דרך כאלה מאפילה לעתים קרובות על הסיכונים של שימוש לרעה או ניצול לרעה של נתונים. בהיעדר רגולציה או הנחיות ממשלתיות חזקות, עמותות וחברות כמו Crisis Text Line ו-Loris נותרות לאלתר את המסגרת האתית שלהן. המחיר של זה התברר השבוע עם הנזיפה של ה-FCC והתחושה ש-Crisis Text Line בגד בסופו של דבר במשתמשים ובתומכיו.

מינוף אמפתיה

כאשר לוריס השיקה לראשונה, לובלין תיארה את שאיפותיה המהוות לכאורה ל-Mashable: "המטרה שלנו היא להפוך את בני האדם לבני אדם טובים יותר."

בראיון, לובלין הדגישה את תרגום לקחי הכשרת היועצים האמפטית והמונחית נתונים של Crisis Text Line למקום העבודה, ועוזרת לאנשים לפתח מיומנויות שיחה קריטיות. זה נראה כמו תוצאה טבעית של עבודתה של העמותה. לא ברור אם לובלין ידעה באותה עת אך לא קבעה במפורש שללוריס תהיה גישה לנתוני משתמש אנונימיים של Crisis Text Line, או אם הגישה של החברה השתנתה לאחר השקתה.

"אם ישות אחרת הייתה יכולה להכשיר יותר אנשים לפתח את המיומנויות שיועצי המשבר שלנו מפתחים, אולי הצורך בקו משבר היה מצטמצם", כתב בויד, שהפנה את שאלותיה של מאשבל על הניסיון שלה ל-Crisis Text Line. "אם היינו יכולים לבנות כלים שנלחמים במעגלי הכאב והסבל, נוכל לשלם קדימה את מה שלמדנו מאלה ששירתנו. רציתי לעזור לאחרים לפתח ולמנף אמפתיה".

אבל בשלב מסוים לוריס התרחקה מהמשימה שלה. במקום זאת, היא החלה להציע שירותים כדי לעזור לחברות לייעל את שירות הלקוחות.בלינקדאין, החברה מצטטת"הניסיון הרב שלה בעבודה דרך השיחות המאתגרות ביותר במרחב המשבר" ומציין שתוכנת האימון החיה שלה "עוזרת לצוותי טיפול בלקוחות להפוך את הלקוחות למרוצים יותר ולמותגים לבלוט בקהל".

למרות שפיזור לוריס מ-Crisis Text Line אולי היה רעיון רע מההתחלה, המסחור של לוריס של נתוני משתמשים כדי לעזור לחברות לשפר את השורה התחתונה שלהן הרגיש בלתי מעוגן באופן מזעזע מתפקידה של העמותה במניעת התאבדות והתערבות במשבר.

"סוג רחב יותר של כישלון"

ג'ון באסל, מנהל שותף של יוזמות בינה מלאכותית ו-Data Ethics במכון האתיקה של אוניברסיטת Northeastern, אומר שהמחלוקת היא מקרה נוסף של "סוג רחב יותר של כישלון" בבינה מלאכותית.

בעוד שבסל מאמין שיכול להיות ש-AI תועיל באופן חד משמעי לטובת הציבור, הוא אומר שלתחום חסר "אקוסיסטם אתי" שיעזור לטכנולוגים וליזמים להתמודד עם סוג הבעיות האתיות שקו טקסט משבר ניסה לפתור באופן פנימי. במחקר ביו-רפואי וקליני, למשל, החוקים הפדרליים קובעים את אופן ביצוע המחקר, עשרות שנים של מחקרי מקרה מספקים תובנות לגבי טעויות העבר, ומומחים בינתחומיים כמו ביו-אתיקה עוזרים לתווך דיונים חדשים או מתמשכים.

"בחלל הבינה המלאכותית, פשוט אין לנו כאלה עדיין", הוא אומר.

הממשל הפדרלי מבין את ההשלכות של בינה מלאכותית. ההשיקול של מינהל המזון והתרופות לגבי מסגרת רגולטורית עבור מכשור רפואי בינה מלאכותיתהיא דוגמה אחת. אבל באזל אומר שהתחום מתקשה להתחשב באתגרים שמעלה הבינה המלאכותית בהיעדר מאמצים פדרליים משמעותיים ליצור מערכת אקולוגית אתית. הוא יכול לדמיין סוכנות פדרלית המוקדשת לרגולציה של בינה מלאכותית, או לפחות חלוקות משנה בסוכנויות קיימות גדולות כמו המכון הלאומי לבריאות, הסוכנות להגנת הסביבה וה-FDA.

Basl, שלא היה מעורב לא עם Loris או Crisis Text Line, אומר גם שהמניעים משתנים בתוך ארגונים וחברות המשתמשות בבינה מלאכותית. נראה שחלק מהאנשים באמת רוצים להשתמש בטכנולוגיה בצורה אתית בעוד שאחרים מונעים יותר מרווחים.

מבקרים של שיתוף הנתונים בין לוריס ל-Crisis Text Line טענו שהגנה על פרטיות המשתמש הייתה צריכה להיות חשיבות עליונה. נציב ה-FCC, ברנדן קאר, הודה בחששות שאפילו רשומות משתמשים מקושטות ואנונימיות עשויות להכיל פרטים מזהים, ואמר שיש "שאלות רציניות" לגבי האם הטקסטים נתנו "הסכמה משמעותית" ליצירת רווחים מהתקשורת שלהם עם Crisis Text Line.

"הארגון והדירקטוריון תמיד היו ומחויבים לפתח ולשפר את הדרך בה אנו משיגים הסכמה, כך שאנו ממקסמים ללא הרף את התמיכה בבריאות הנפש לצרכים הייחודיים של הטקסטים שלנו במשבר", אמר רודריגז בהצהרה ל-Mashable. הוא הוסיף כי Crisis Text Line מבצע שינויים כדי להגביר את השקיפות עבור המשתמשים, כולל על ידי הוספת תקציר תבליטים בראש תנאי השירות שלה.

עם זאת, טבעו של מה שהפך לוריס הפך את ההסדר לבטלה מבחינה אתית.

בויד כתבה שהיא מבינה מדוע מבקרים חשו "כעס וגועל".

היא סיימה את החשבון הארוך שלה בהצגת רשימה של שאלות לאותם מבקרים, כולל: "מהי הדרך הטובה ביותר לאזן את ההסכמה הסמויה של משתמשים במשבר עם שימושים אחרים בעלי פוטנציאל מועיל בנתונים שהם כנראה לא הסכימו להם בכוונה, אבל אשר יכול לעזור להם או לאחרים?"

כַּאֲשֵׁרboyd פרסמה צילום מסך של השאלות האלה בחשבון הטוויטר שלה, התגובות היו שליליות ברובן, עם מגיבים רביםקורא לה ולחברי דירקטוריון אחרים להתפטר. כמה מהם חלקו את התחושה שהאמון שלהם ב-Crisis Text Line אבד.

סביר להניח ש-Crisis Text Line ולוריס יהפכו לסיפור אזהרה לגבי השימוש האתי בבינה מלאכותית: אנשים מתחשבים שמנסים להשתמש בטכנולוגיה לתמיד עדיין עשו טעות הרת אסון.

"אתה אוסף נתונים על אנשים בפגיעים ביותר ואז משתמש בהם לתרגיל כלכלי, שנראה שלא מתייחס אליהם כאל אנשים, במובן מסוים", אמר בסל.

אם אתה רוצה לדבר עם מישהו או שאתה חווה מחשבות אובדניות, התקשר לקו החיים הלאומי למניעת התאבדויותבטלפון 1-800-273-8255. צור קשר עםקו העזרה של NAMIב-1-800-950-NAMI, שני עד שישי בין השעות 10:00 - 22:00 ET, או אימייל[מוגן באימייל]. הִנֵהרשימה של משאבים בינלאומיים.