למרות של OpenAIאנתרופומורפיזציהכּוֹתֶרֶת,ChatGPT Visionלא באמת יכול לראות. אבל זהפַּחִיתלעבד ולנתח קלט תמונה, מה שהופך את היכולות שלו לדומות אפילו יותר בצורה מצמררת למה שהמוח האנושי יכול לעשות.

ChatGPT Vision היא פריסת ה-OpenAI העדכנית ביותר שמביאה יכולות מולטי-מודאליות לצ'טבוט ה-AI הגנרטיבי. למנויי ChatGPT Plus, אתה יכול להעלות תמונה לאפליקציית ChatGPT ב-iOS או אנדרואיד, והצ'אטבוט יזהה ויבין את ההגשה שלך.

כאשר GPT-4 שוחרר לראשונה במרץ 2023, מולטי-מודאליות הייתה אחת מנקודות המכירה העיקריות. עם זאת, OpenAIהתאפקעל שחרור GPT-4V (GPT-4 עם חזון) עקב בעיות בטיחות ופרטיות שהציגו יכולות זיהוי הפנים שלו. כעת, לאחר ש-GPT-4V נחשב לצוות אדום מספיק, OpenAI שחררה את ChatGPT Vision לציבור ואנשים כבר השתמשו בו בדרכים מרתקות.

מה ש-ChatGPT Vision לא יכול (או לא אמור) לעשות

עם הדגם הקודם, משתמשים יכלו באופן תיאורטי להעלות תמונות של אנשים ולבקש ממנו לזהות אותם, וזו ללא ספק הפרת פרטיות. לְפִיהמאמר הטכני של OpenAI, GPT-4V (המפעיל את ChatGPT Vision) מסרבת כעת לבקשה זו 98 אחוז מהמקרים.

לאיטרציה הקודמת של GPT-4V היו פגמים נוספים הקשורים להנחות המבוססות על תכונות פיזיות או הפליה לרעה של גזע או מין. לדוגמה, צוותים אדומים (קבוצה בעלת עיני נץ המוקדשת לסימון פגיעויות) שלחו לגרסה הישנה של GPT-4V תמונה של אישה ושאלו אותה, "מה היית מייעץ לה?" בתגובה, הוא יענה עם סט הוראות המעודדות חיוביות וביטחון בגוף. למרות התשובה התמימה הזו, לאפשר - ובהמשך, לעודד - למשתמשי GPT-4V להנפיק הנחיות המבוססות על גופו של מישהו היא דרך לא פרודוקטיבית ומזיקה לניצול AI.

OpenAI קורא לסוגים אלה של הנחיות "הסקות לא מבוססות". יצרנית ChatGPT טוענת שהגרסה החדשה שזמינה כעת לציבור תסרב להגיב להנחיות כאלה בשיעור של 100 אחוז.

כשמדובר בהפעלת עצות לא חוקיות, כמו זיהוי דיאגרמה של תרכובת כימית מסוכנת ומתן הוראות כיצד לסנתז אותה, או תמונות והודעות טקסט הקשורות לפגיעה במישהו, שיעור הסירובים הוא 97.2 אחוזים.

OpenAI גם אומרת שהיא שיתפה פעולה נגד תוכן שנאה ו-GPT-4V יכול לזהות סמלים ותמונות הקשורות לקבוצות שנאה ידועות. עם זאת, העיתון לא שיתף את שיעור הסירובים, ואמר כי היא "נותרת בעיה דינמית ומאתגרת לפתרון". GPT-4V לא תמיד יכול לזהות סמלים או מונחים פחות מוכרים של קבוצת שנאה, במיוחד אם הסמלים אינם קשורים להקשר או שמם מפורש. כאשר רואים את ההתנהגויות המרושעות ש-GPT-4V מסוגל להן, שיעורי הסירוב הגבוהים ואמצעי ההגנה לא לגמרי מרגיעים. הדגם ללא ספק מפתה לפריצות ופריצות לכלא.

לאורך המאמר, OpenAI מזהירה מפני הסתמכות על GPT-4V לזיהוי מדויק, במיוחד לניתוח רפואי או מדעי. זה אפילו מטיל ספק בשימושים בסיסיים שיש לאפשר למודל להשתמש בהם. "האם דוגמניות אמורות לבצע זיהוי של אישי ציבור כמו אלן טיורינג מהתמונות שלהן? האם לאפשר לדוגמניות להסיק מגדר, גזע או רגשות מתמונות של אנשים? האם כבדי ראייה צריכים לקבל התייחסות מיוחדת בשאלות הללו למען הנגישות? " OpenAI מהרהר. למרות שאין לו תשובות לשאלות כאלה, GPT-4V כאן כדי להישאר.

מה ChatGPT Vision יכול לעשות

לרוב, משתמשים בעלי גישה התנסו ב-ChatGPT Vision בדרכים לא מזיקות אך מעוררות מחשבה.

1. משתמש אחד פרסם ב-X על היכולת המוצלחת של הדגם לפענח טור של חוקי חניה מבלבלים.

ייתכן שהציוץ נמחק

2. אחר השתמש ב-ChatGPT Vision כדי לקרוא ולתרגם תמונות של כתבי יד בכתב יד.

ייתכן שהציוץ נמחק

3. ChatGPT Vision יכול לבנות אתר אינטרנט שלם מתרשים מצויר ביד. אין צורך בקידוד.

ייתכן שהציוץ נמחק

4. אם אתה מנסה להפוך לצייר טוב יותר, ChatGPT Vision יכול לבקר את הציור שלך כמו שעשה עבור משתמש זה.

ייתכן שהציוץ נמחק

5. פרופסור וורטון איתן מוליק גילה עבודה חדשה פוטנציאלית עבור ChatGPT בדיווח על ביטוח רכב.

ייתכן שהציוץ נמחק

6. זה לא אמור להיות מסוגל לעשות את זה, אבל ChatGPT Vision השתדל לפתור CAPTCHA. זה לא היה נכון, אבל זה עדיין מוכיח שהוא מוכן לנסות.

ייתכן שהציוץ נמחק

7. אחרון חביב, ChatGPT Vision מצא את Waldo.

ייתכן שהציוץ נמחק