כשג'אגדיש מהנדרן שמע על האתגרים היומיומיים של חברו בניווט כאדם עיוור, הוא חשב מיד על עבודת הבינה המלאכותית שלו.

"במשך שנים לימדתי רובוטים לראות דברים", אמר. מהנדרן, חוקר ראיית מחשב במכון לבינה מלאכותית של אוניברסיטת ג'ורג'יה, מצא שזה אירוני שהוא עזר בפיתוח מכונות - כוללרובוט קניותשיכול "לראות" מדפים מצוידים ורובוט מטבח - אבל שום דבר עבור אנשים עם ראייה ירודה או ללא.

לאחר בחינת הטכנולוגיה הקיימת עבור אנשים עיוורים ובעלי ראייה לקויה, כמו קנים התומכים במצלמה אואפליקציות לסמארטפון המחוברות ל-GPS, הוא המציא עיצוב AI מבוסס תרמיל המשתמש במצלמות כדי לספק התראות מיידיות.

מהנדרן התמקד בחביון. עיכובים יכולים להיות מסוכנים כאשר, למשל, מכונית חוצה במהירות צומת. לדבריו, הוא קיצר משמעותית את זמן השהיה.

"[נתוני המצלמה] מעובדים מיד כשהם נלכדים", אמר.

הנתונים האלה מגיעים לאוזניות התומכות ב-Bluetooth שמתריעה למשתמש על מכשולים או שינויים במסלול. יחד עם תרמיל, המשתמש צריך ללבוש גם אפוד וחבילה, המכילה את ציוד הבינה המלאכותית, חיישנים, מצלמה ו-GPS.

הוא תיאר את המערכת, בעלת חיי סוללה של שמונה שעות, כ"פשוטה, לבישה ולא פולשנית".

הוא התחיל לפתח את המערכת ב-2013. זהווֹןמגובה אינטלתחרות AIבשנת 2020.

נכון לעכשיו, האפוד כולל חיישני אינטל נסתרים ומצלמה קדמית, בעוד התרמיל והפאני מכילים יחידת מחשוב קטנה ומקור כוח. יחידת Luxonis OAK-D, המופעלת על ידי טכנולוגיית אינטל, הממוקמת בחבילת האפוד והפאני, היא מכשיר בינה מלאכותית שמעבד נתוני מצלמה כמעט באופן מיידי כדי לפרש את העולם סביב המשתמש.

אנשים מקיימים איתו אינטראקציה באמצעות פקודות קוליות, כמו "התחל", שמפעילה את המערכת. "תאר" אוסף מידע על אובייקטים בתצוגת המצלמה, בעוד "אתר" מושך מיקומים שמורים ממערכת ה-GPS, כמו כתובת משרד או בית.

מהנדרן אמר שהוא רוצה "לשמור על תקשורת פשוטה", כדי שהמשתמש לא יוצף במטח מתמיד של אודיו על הסביבה. במקום זאת, המכונה קוראת הנחיות קצרות, כמו "שמאל", כאשר יש משהו משמאל למשתמש, או "למעלה, קדמי", כדי לתאר ענף עץ בדרך.

הוא גם יצר קהילה מקוונת עבור הטכנולוגיה שלו, הנקראתמירה. מתנדבים עיוורים עזרו לו ליצור את הממשק עבור MIRA ומערכת התרמילים.

המערכת מבוססת אודיו. אבל תמונות שצולמו מהמצלמה שלונראים דומים לאלה ממכוניות בנהיגה עצמית, שמתייגים חפצים כמו הולכי רגל, בניינים, תמרורים ומכוניות אחרות בזמן נהיגה. המפתחים יכולים לראות מה המחשב בתרמיל מעבד, כפי שניתן לראות למטה.

חלק מהעבודות האחרות של AI של Mahendra כללו ראיית מכונה עבור כלי רכב אוטונומיים. "אבל אתה לא יכול בדיוק להעביר מכוניות בנהיגה עצמית לבעיה הזו", אמר. "אנשים בדרך כלל על המדרכה, בעוד מכוניות על הכביש".

זה מספיק שונה כדי שהוא והצוות שלו היו צריכים להנדס מחדש נתונים פתוחים של כלי רכב אוטונומיים קיימים עבור מצבים של הולכי רגל.

הוא מתכנן לשמור על האנרגיה השיתופית ולהפוך את כל הנתונים שלו לזמינים באופן חופשי לחוקרים אחרים. הוא גם הגיש עבודת מחקר על הפרויקט שמחכה לבדיקה.

Hema Chamraj, מנהל Ai4Good של אינטל, אמר כי פרויקטים מסוג זה יהפכו נפוצים יותר עם גישה רבה יותר לכלי מחשוב זולים אך חזקים. "מדהים כמה דמיון יש שם בחוץ", אמרה, והרהרה בפרויקטים פוטנציאליים אחרים שיכולים לשלב למידת מכונה עם סיוע רפואי.

תרמיל הבינה המלאכותית של מהנדרן אינו למכירה, אבל הוא אומר שהוא הולך להתחיל GoFundMe כדי לצייד כל הולכי רגל עיוורים שרוצים להשתמש במערכת.

באשר לחברה של מהנדרן שהניעה את הפרויקט, הוא שולח לה יחידה בעוד מספר שבועות כדי לקבל משוב שלה מחוויות מהחיים האמיתיים.