הצ'אטבוט המפורסם ביותר בעולם, ChatGPT, שוחרר בסוף נובמבר של השנה שעברה. התגובה המיידית הייתה תדהמה, ואחריה כמעט מיד אימה על השלכותיה - בעיקר שהיא עלולה ליצור מאמרים בבית הספר לילדים לא ישרים. אתמול, כמעט חודשיים לאחר מכן, OpenAI, חברת האם של ChatGPT פרסמה את מה שמשתמשים רבים מקווים שיהיה התרופה נגד הרעל.

של OpenAI"מסווג לציון טקסט שנכתב ב-AI" היא ההמצאה האחרונה של החברה, והיא קלה לשימוש ככל שאפשר לרצות: העתק והדבק טקסט לתוך התיבה, לחץ על "שלח" וקבל את התוצאה שלך. אבל אם אתה מצפה לתשובה ישירה, אתה במקום זאת, הוא מקצה לטקסט אחד ממגוון סיווגים, מ"מאוד לא סביר" שנוצר בינה מלאכותית, ל"לא סביר", "לא ברור", "ייתכן" או. "כנראה שנוצר בינה מלאכותית."

במילים אחרות, זה כמו אחת מאותן שיחות מתסכלות עם הרופא שלך; לעולם לא תקבל תשובה ישירה, כך שהרופא שלך לעולם לא יטעה מבחינה טכנית.

למרבה המזל, OpenAI לא מסתיר את חוסר האמינות של המסווג. "המסווג שלנו אינו אמין לחלוטין", נכתב בדף המבוא של הכלי. בתנאי שהוא מכנה "סט אתגר" של טקסטים, נאמר לנו שהוא נתן תוצאות חיוביות שגויות ב-9 אחוזים מהמקרים.

בבדיקות של Mashable, לעומת זאת, זה היה אפילו פחות אמין מזה בהקשרים מוגבלים מסוימים. בתרחישים מאתגרים בכוונה, זה הניב תוצאות שגויות בשני הכיוונים - באמירה שזה לא סביר שטקסט שנכתב בבינה מלאכותית נכתב בבינה מלאכותית, ושטקסט שנכתב על ידי אדם כנראה נכתב בבינה מלאכותית - כמעט באותה תדירות. ההבדל, אולי, הוא שהיינומנסהלהערים על זה.

הנה איך הדברים זעזעו:

זה לא טועה בקלאסיקה עבור פלטי ChatGPT AI

ראשית החדשות הטובות: הכלי הזה עושה את המינימום המינימלי די טוב בכך שהוא לא מתייג בטעות את יצירות המופת של השפה האנגלית כפלטי AI. כשאנחנו מכניסים קטעים של שייקספיר, התנ"ך של קינג ג'יימס,יוליססואחרים, זה היה יעיל ב-100 אחוז. זה תייג את כולם "לא סביר מאוד" להיות כתובים בינה מלאכותית.

הקטע הזה מ"הגברת של שאלוט" של טניסון, למשל, סווג כראוי.

הלקח: אולי המכונה הזו לא תשים לב שהיא קיבלה יצירת מופת של יופי ועומק עולים, אבל לפחות היא לא אומרת, "אני חושב שרובוט יכול היה לכתוב את זה".

אף אחת מהתוצאות האחרות שלה לא מרשימה במיוחד

מיד לאחר המבחן הזה, ביקשנו מ-ChatGPT ליצור שיר של טניסון על המלך ארתור בקומיקס. הנה דוגמה של מה שהוא יצר:

המלך ארתור והאבירים שלו, כל כך אמיצים ונועזים,

בקומיק קון, סיפורי התהילה שלהם סיפרו.

להסתובב על הרצפה, בציוד קוספליי,

החרבות והמגנים שלהם, כבר לא סתם.

ההמונים כולם הריעו, כשהם הלכו ליד,

עם מרלין קרוב מאחור, הקסם שלו קרוב.

סר לנסלוט, סר גאווין, בורס האמיץ,

את השאיפה שלהם לתהילה, הם לעולם לא יוותרו.

לא רע לרובוט, אבל עדיין רע מאוד ("לא עוד סתם"???). כשהכנסנו את הבלדה הלירית הזו למסווג, ציפינו שהיא תערים עלינו בקלות, ותאלץ אותנו לצלול קצת יותר עמוק לתוך שק הטריקים שלנו. לֹא:

בשביל מה שזה שווה, זה לא סיווג את הדובדבן הזה כ"מאוד לא סביר", רק "לא סביר". ובכל זאת, זה השאיר אותנו קצת לא רגועים. אחרי הכל, לא ניסינו מאוד להערים על זה, וזה עבד.

הבדיקות שלנו מצביעות על כך שזה עלול לחסל ילדים חפים מפשע בגלל בגידה

מאמרים בבית הספר הם המקום שבו הגומי פוגש את הדרך עם השימושים הזדוניים של היום בטקסט שנוצר בינה מלאכותית. אז יצרנו את הנסיון הטוב ביותר שלנו למאמר פשוט בן חמש פסקאות עם פרוזה ותוכן משעמם כמו כלים (תזה: "כלבים עדיפים על חתולים"). חשבנו שאף ילד אמיתי לא יכול להיות כל כך משעמם, אבל המסווג תפס בכל זאת:

וכאשר ChatGPT התמודד עם אותה הנחיה, המסווג היה - בהתחלה - עדיין על המטרה:

וכך נראית המערכת כשהיא באמת עובדת כפי שפורסם. זהו חיבור בסגנון בית ספר, שנכתב על ידי מכונה, והכלי של OpenAI לתפיסת "גניבת דעת AI" שכזו תפס אותו בהצלחה. לרוע המזל, הוא נכשל מיד כאשר נתנו לו טקסט מעורפל יותר.

למבחן הבא שלנו, כתבנו ידנית מאמר נוסף בן חמש פסקאות, אבל כללנו כמה מקבי הכתיבה של OpenAI, כמו התחלת פסקאות הגוף במילים פשוטות כמו "ראשון" ו"שני", ושימוש בביטוי הרובוטי אמנם "לסיכום. " אבל השאר היה חיבור טרי שנכתב על סגולותיהם של טוסטר אובן.

שוב, הסיווג לא היה מדויק:

זה אמנם אחד החיבורים הכי משמימים בכל הזמנים, אבל אדם כתב את כולו, ו-OpenAI אומר שהוא חושד אחרת. זו התוצאה המדאיגה מכולן, שכן אפשר בקלות לדמיין איזה תלמיד תיכון נתפס על ידי מורה למרות שלא עבר על כללים.

הבדיקות שלנו היו לא מדעיות, גודל המדגם שלנו היה זעיר, וניסינו לחלוטין להערים על המחשב. ובכל זאת, לגרום לזה לירוק תוצאה שגויה מעוותת היה קל מדי. למדנו מספיק מהזמן שהשתמשנו בכלי הזה כדי לומר בביטחון שהמוריםבהחלט לא צריךהשתמש ב"מסווג של OpenAI לציון טקסט שנכתב בבינה מלאכותית" כמערכת לאיתור רמאים.

לסיכום, הרצנו את המאמר הזה דרך המסווג. התוצאה הייתה מדויקת לחלוטין:

...או שזה היה????