ST שמה NPU ליד העיניים של הרובוט — כדי שהמוח המרכזי לא יצטרך לראות הכול

דמיינו רובוט שעובד במחסן. המצלמות שלו רואות עשרות מדפים, עובדים חולפים מולו, מלגזה עוברת מרחוק והאור משתנה בכל פעם שנפתחת דלת. רוב התמונות אינן מכילות אירוע שדורש תכנון מורכב. ובכל זאת, אם כל פריים נשלח למחשב NVIDIA כדי לבדוק אם קרה משהו, ה־GPU צריך להתעורר, לקרוא את התמונה ולהפעיל מודל — גם כשהתשובה היא בסך הכול "אין כאן שום דבר חדש".

כאן נכנס ה־STM32N6. זהו עדיין מיקרו־בקר: רכיב שנועד לשבת קרוב לחיישנים, לעלות מהר, להפעיל ציוד בזמן צפוי ולצרוך פחות ממחשב שמריץ Linux. אבל בתוך הדגמים מסדרת STM32N6x7 נמצא Neural-ART, מעבד עצבי קטן שמיועד להרצת רשתות נוירונים. לפי ST, הוא מגיע עד 600 מיליארד פעולות בשנייה.

המספר הזה אינו הופך את ה־STM32N6 ל־Jetson קטן. אלו גם אינן בהכרח אותן פעולות שבהן NVIDIA מודדת את מחשביה. המשמעות המעשית היא שהמיקרו־בקר מסוגל להריץ מודלים ממוקדים: לזהות אדם, למצוא חפץ, להעריך תנוחת גוף, לזהות מחווה או לסווג את הסצנה. מודל שפה גדול, בניית מפה מורכבת או הבנת הוראה פתוחה עדיין מתאימים למחשב הכבד.

אפשר לחשוב על חלוקת העבודה כמו על מערכת העצבים בגוף. המוח מסוגל להבין סיטואציה ולתכנן פעולה, אבל הוא אינו צריך לקבל תיאור מילולי של כל שינוי זעיר בכל שריר. הרבה מהמידע מסונן ומעובד קרוב למקום שבו הוא נוצר. רק אירועים בעלי משמעות עולים לרמה שמקבלת החלטות רחבות יותר.

ST תכננה את ה־STM32N6 בדיוק סביב הצינור הזה. יש בו ממשקי מצלמה מקביליים ו־MIPI CSI-2, מעבד תמונה שמטפל במידע הגולמי מהחיישן, 4.2 מגה־בייט של SRAM ומקודדי JPEG ו־H.264 בחומרה. התמונה יכולה להיכנס מהמצלמה, לעבור תיקון והקטנה, להיכנס למודל AI ואז להפוך לתוצאה שימושית — בלי שמעבד מארח יצטרך להשתתף בכל שלב.

במקום לשלוח תמונה מלאה, ה־STM32N6 יכול לדווח: "זוהה אדם באזור הימני", "היד מורמת", "המעבר חסום" או "לא נמצא דבר". לפעמים המחשב המרכזי יצטרך גם את התמונה עצמה, אבל כעת אפשר לשלוח אותה רק בעקבות אירוע, לדחוס אותה או לחתוך מתוכה את האזור המעניין.

זה חשוב מפני שמצלמות מייצרות המון מידע. חיבור Ethernet של גיגה־ביט נשמע מהיר, אבל כמה מצלמות ברזולוציה גבוהה יכולות למלא אותו בקלות כאשר מעבירים תמונה גולמית. קידוד H.264 מקטין את רוחב הפס כאשר צריך וידאו; זיהוי מקומי יכול להקטין אותו עוד יותר, מפני שלעתים כמה קואורדינטות וציון ביטחון מחליפים מסגרת שלמה.

מדריך ST ממשיך את אותו רעיון מעבר למצלמה. הוא מחלק את הרובוט לאזורים כמו הראש, הגוף, הידיים והרגליים. בכל אזור נמצא מעבד שמרכז מצלמות, LiDAR, חיישני תנועה וחיישני מגע. המעבד האזורי מאחד את המידע, מפעיל משימות מקומיות ומעביר למחשב המרכזי רק מידע שכבר סונן.

המחשב המרכזי יכול להיות מערכת חזקה ממשפחת Jetson Orin או Jetson Thor, אף ש־ST אינה בוחרת יצרן במדריך. שם אפשר להריץ מודל שמבין יחד כמה מצלמות, בונה מפה, מפרש פקודה בשפה טבעית או מחליט כיצד הרובוט צריך להגיע אל חפץ. ה־STM32N6 עונה על השאלה "מה אני רואה עכשיו?"; המחשב הגדול יכול לענות על "מה זה אומר ומה כדאי לעשות?".

החלוקה הזאת עשויה גם לחסוך חשמל. מערכת שממתינה רוב הזמן אינה חייבת להחזיק GPU גדול בעומס רק כדי לזהות אם מישהו נכנס לחדר. המיקרו־בקר יכול להמשיך לעקוב אחר מצלמה או מיקרופון, ורק אירוע מתאים יפעיל את שכבת החישוב הכבדה. במוצר שמופעל מסוללה, זמן העבודה עשוי להיות חשוב יותר מעוד כמה אחוזי דיוק במודל הגדול.

אבל המחיר האמיתי נמצא בפיצול המערכת. עכשיו צריך לפתח, לבדוק ולעדכן לפחות שתי שכבות AI. אם המודל הקטן מפספס אדם, המחשב הגדול אינו מקבל הזדמנות לתקן אותו. לכן מסנן מקומי שמחליט מתי להעיר את Jetson צריך בדרך כלל להעדיף חשד שווא על פני פספוס: עדיף להעיר את המחשב פעם מיותרת מאשר להתעלם מאירוע חשוב.

גם 4.2 מגה־בייט של זיכרון אינם הרבה בעולם ה־AI. צריך להחזיק בהם קוד, נתוני ביניים ולעיתים חלק ממשקלי המודל. אפשר להשתמש בזיכרון חיצוני, לכווץ את המודל ולשמור משקלים בפחות סיביות, אבל כל פעולה כזאת מוסיפה זמן, רוחב פס וסיכון לפגיעה בדיוק. 600 GOPS אינם מועילים אם המודל גדול מכדי להיכנס לצינור הזיכרון.

ויש גבול נוסף שחשוב לא לטשטש: זיהוי AI אינו לולאת בטיחות. מודל יכול לומר שהדרך פנויה, אך עצירת מנוע מול מתג חירום או חיישן התנגשות צריכה להישאר פעולה מקומית וצפויה שאינה תלויה בזמן התגובה של Linux או של רשת נוירונים. במערכת טובה המחשב הגדול מתכנן, והמיקרו־בקרים שומרים את הזכות לעצור.

החלק המעניין פה הוא שה־STM32N6 אינו מנסה להחליף את המחשב המרכזי. הוא משנה את סוג המידע שהמחשב מקבל. המצלמה כבר אינה רק צינור של פיקסלים; היא הופכת לצומת קטן שמבין מה הוא רואה ומחליט מה שווה את תשומת הלב של המוח הגדול.

מה שזה אומר בפועל למהנדס הוא שלא מתחילים מבחירת ה־Jetson החזק ביותר. מתחילים ברשימת משימות: מה חייב לפעול תמיד, מה חייב להגיב בזמן קבוע, מה אפשר לסנן ליד החיישן ומה באמת דורש מודל גדול. אם החלוקה נעשית נכון, ה־STM32N6 אינו עוד רכיב בדרך אל ה־AI. הוא הסיבה שהמחשב הכבד יכול להתעסק בהחלטות החשובות במקום לטבוע בנתונים.