גוגליש סוכן AI חדש שיכול לספר לך דברים על מה שמסביבך. הרבה דברים.

המכונה "פרויקט אסטרה", זהו כלי AI מולטי-מודאלי מבוסס מזל תאומים המאפשר לך לכוון את מצלמת הטלפון שלך לדברים מהחיים האמיתיים ולקבל תיאור דיבור של מה שאתה מסתכל עליו.

בהדגמה, שהוצגה במהלך כנס ה-I/O של גוגל ביום שלישי, הכלי הופנה אל רמקול, וזיהה נכון חלק ממנו כציוץ. באופן מרשים הרבה יותר, המצלמה של הטלפון הופנתה לאחר מכן לקטע קוד על צג מחשב, כאשר אסטרה מניבה סקירה מפורטת למדי של מה שהקוד עושה.

לבסוף, האדם שבודק את פרויקט אסטרה סובב את הטלפון שלו לכיוון החלון ושאל "באיזו שכונה אתה חושב שאני נמצא?" לאחר מספר שניות השיב ג'מיני: "נראה שזה אזור קינגס קרוס בלונדון", יחד עם כמה פרטים על השכונה. לבסוף, הכלי התבקש למצוא זוג משקפיים שלא במקומו, והוא נענה, ואמר היכן בדיוק הושארו המשקפיים.

אולי בחלק המעניין ביותר בסרטון, אנו רואים שאותם משקפיים הם למעשה סוג של משקפיים חכמים, שניתן להשתמש בהם שוב כדי להנחות את תאומים לגבי מה שהרכיב רואה - במקרה זה נותן הצעה על דיאגרמה מצוירת על לוח לבן. .

לדברי מנכ"ל DeepMind של גוגל, Demis Hassabis, משהו כמו אסטרה יכול להיות זמין גם בטלפון או במשקפיים של אדם. עם זאת, החברה לא שיתפה תאריך השקה, אם כי חסאביס אמר שחלק מהיכולות הללו מגיעות למוצרי גוגל "בהמשך השנה".