בדיוק כשהתחלת להשלים עםChatGPTהיכולות המפחידות של OpenAI השיקה גרסה חדשה של מודל שפת הבינה המלאכותית שלה.

אומר OpenAIGPT-4הוא הרבה יותר מתקדם מ-GPT-3, שמניע את ChatGPT. וכדי להוכיח זאת, הם גרמו ל-GPT-4 לשבת לחבורה של בחינות. OpenAIנבדק GPT-4עם מגוון מבחנים סטנדרטיים מבית הספר התיכון ועד לתואר שני ועד לרמה מקצועית ומתפרשים על פני מתמטיקה, מדעים, קידוד, היסטוריה, ספרות, ואפילו זה שאתה לוקח כדי להיות סומלייה. הבחינות הורכבו משאלת בחירה ותשובה חופשית ו-GPT-4 קיבל ציון באמצעות המתודולוגיה הסטנדרטית עבור כל בחינה.

הנח את העיפרון שלך, GPT-4, הגיע הזמן לראות לבדוק את הציונים שלך.

מה, כמו לימודי משפטים זה קשה?

GPT-4 לא רק נכנס ללימודי משפטים, הוא עבר את הרף. מודל שפת הבינה המלאכותית השיג ציון באחוזון ה-88 באחוזון ה-LSAT (מבחן קבלה לבית הספר למשפטים) והצליח אפילו טוב יותר ב-Bar (בחינת הלשכה האחידה) על ידי ציון באחוזון ה-90. לשם השוואה, GPT-3 היה ב-40% התחתונים של ה-LSATs ו-10% בבר.

מבחני הקבלה למכללה היו חתיכת עוגה

GPT-4 לקח גם את קטעי המתמטיקה והקריאה/כתיבה של ה-SATs ואת כל שלושת הסעיפים של ה-GREs המחולקים למיומנויות כמותיות, מילוליות וכתיבה. הוא קיבל ציון באחוזון ה-80 או ה-90 של כל הסעיפים מלבד קטע הכתיבה של ה-GREs... אותו הוא די הפציץ באחוזון ה-54.

גם ההישג המובהק, GPT-4, לקחכֹּלבחינות AP (Advanced Placement) בתיכון. היא ניצחה את רובם, קלע בין ה-84 ל-100, למעט כמה חריגים.

GPT-4 זכה במקום ה-44 בשפה האנגלית של AP ובמקום ה-22 עלוב בספרות האנגלית של AP. אז לכל מקצועני המילים שלכם בחוץ אולי יהיה עוד קצת זמן לפני ש-GPT-4 יחליף אתכם. GPT-4 לא הצליח כל כך ב-AP Calculus BC בניקוד בין ה-43 ל-59, מה שמוכיח שאפילו עבור מחשב-על, החשבון אינו קל. אבל זה עדיין מקנה ל-GPT-4 רביעייה, אז זה עדיין עשוי להיות מחוץ לחשבון המכללה.

ל-GPT-4 יש קצת עבודת קידוד

ל-GPT-4 עדיין יש מה לעשות עם כישורי הקידוד שלו, וזה מוזר מכיוון שאחד השימושים המשווקים שלו הוא עזרה למפתחים. הדירוג שלה עבור Codeforces, המארחת אירועי תכנות תחרותיים, הוא 392, מה שמוריד אותו בקטגוריית Newbie של כל דבר מתחת ל-1199.

זה הצליח לא רע ברמה הקלה של Leetcode (31 מתוך 41 בעיות נפתרו) אבל התקשה בכל הנוגע לרמת קושי בינונית או קשה (21/80 ו-3/45 בהתאמה). כפי שראינו בשידור חי של הדגמת מפתח, GPT-4 מסוגל לכתוב Python באופן מלא, אך דרש קצת התאמה ידנית כדי להגדיר את הפרמטרים הנכונים, מה שעשוי להסביר חלק מהציונים הללו במבחן. או שאולי זה לא אכל ארוחת בוקר באותו בוקר.

אוקיי, אבל האם GPT-4 יכול להפוך לסומלייה?

GPT-4 עבר את מבחני הסומלייה בקול רם. הוא ממוקם הנמוך ביותר (אחוזון 77) בבחינת הסומלייה המתקדמת ביותר. אבל עבור ישות לא אנושית שמעולם לא טעמה יין, ניתן לזה להחליק.

OpenAI פרסמה אהתמוטטות מלאהשל ביצועי GPT-4. אולי GPT-4 לא יכתוב את הרומן האמריקאי הגדול הבא... עדיין, אבל העתיד של GPT-4 כעורך דין מבריק מבחינה מתמטית ואנין יין נראה די בהיר.