NVIDIA מורידה את Jetson Thor ל־32 ול־16 גיגה־בייט — והתוכנה צריכה לפצות

דמיינו רובוט במחסן. המצלמות שלו מצלמות מדפים ואנשים, חיישני המרחק בודקים מה נמצא במסלול, והמחשב צריך לזהות חפצים, להבין הוראה ולתכנן תנועה בלי לחכות לשרת ענן. חיבור רשת יכול להיעלם, זמן ההלוך־חזור עלול להיות ארוך מדי, ותמונה מתוך מפעל לא תמיד צריכה לצאת החוצה. לכן חלק גדול מהעיבוד צריך לחיות בתוך הרובוט.

Jetson הוא מודול מחשב קטן שמרכז מעבד רגיל, מעבד גרפי שמאיץ AI, זיכרון וממשקי תקשורת. יצרן הרובוט מתקין אותו על לוח נשא משלו ומחבר אליו מצלמות, רשת, אחסון ובקרי מנועים. ערכת פיתוח שמונחת על שולחן טובה לניסוי; המודול הוא החלק שאמור להיכנס בסופו של דבר למוצר הסדרתי.

כאשר מודל AI כבר אומן, הרובוט מבצע שלב שנקרא הסקה: הוא מכניס תמונה, טקסט או נתוני חיישנים למודל ומחשב תשובה. לצורך זה צריך לאחסן לא רק את משקלי המודל — מיליארדי המספרים שלמד — אלא גם תוצאות ביניים, היסטוריה של השיחה, תמונות, מפות ותורים של נתונים שממתינים לעיבוד. אם הזיכרון נגמר, עוד כוח חישוב אינו עוזר. זה כמו מטבח עם הרבה טבחים אבל בלי משטח שעליו אפשר להניח את המצרכים.

ב־Jetson המעבד המרכזי, ה־GPU ומנועי הווידאו משתמשים באותו מאגר זיכרון פיזי. זה חוסך העתקות בין זיכרון מערכת לזיכרון גרפי נפרד, אבל גם יוצר תחרות. מערכת ההפעלה, שולחן העבודה, המצלמות והמודל מושכים מאותה קופה. לכן המעבר מ־128 גיגה־בייט בדגם T5000 ל־32 גיגה־בייט ב־T3000 הוא לא רק שינוי בשורה במפרט; הוא משנה אילו מודלים וצירופי חיישנים יכולים לחיות יחד.

T3000 מספק לפי NVIDIA עד 865 טרה־פעולות FP4 לשנייה, שמונה ליבות Arm, זיכרון LPDDR5X בנפח 32 גיגה־בייט וברוחב פס של 273 גיגה־בייט לשנייה, וכן חיבור Ethernet של 25 גיגה־ביט. החברה מתארת אותו כקטן וצורך בערך חצי מההספק של T5000. לעומתו, T5000 הקיים מגיע ל־2,070 טרה־פעולות FP4, ארבע־עשרה ליבות, 128 גיגה־בייט וטווח הספק עד 130 ואט.

המספר המפתיע הוא רוחב הפס. T3000 שומר על 273 גיגה־בייט לשנייה, אותו נתון שמפורסם עבור T5000, אף שנפח הזיכרון קטן פי ארבעה. נפח ורוחב פס אינם אותו דבר: הנפח הוא גודל המחסן, ורוחב הפס הוא מספר המשאיות שיכולות לעבור בשער בכל שנייה. NVIDIA הקטינה מאוד את המחסן, אך השאירה שער מהיר. מודל שנכנס ל־32 גיגה־בייט ואינו מצליח להזין את יחידות החישוב מהר מספיק עשוי להרוויח מכך. מודל שאינו נכנס למחסן מלכתחילה לא יינצל בזכות שער רחב.

כאן צריך גם לפרק את המספר 865. ‏FP4 הוא ייצוג שבו חלק מחישובי ה־AI נעשים בעזרת מספרים בני ארבע סיביות בלבד, ונתון השיא של NVIDIA מניח גם דלילות — מצב שבו החומרה יכולה לדלג על חלק מהערכים. זו דרך יעילה מאוד להריץ מודלים שהותאמו לכך, אבל היא אינה אומרת שהמחשב מבצע 865 טריליון פעולות רגילות בכל תוכנה. מודל שמשתמש בדיוק גבוה יותר, פעולה שאינה נתמכת במסלול המהיר או קוד שממתין למצלמה ולמעבד יקבל מספר אחר לגמרי.

לפי NVIDIA, ‏T3000 יכול להגיע לביצועי הסקה דומים ל־T5000 בעומסים רב־אופניים כמו מודלי שפה, מודלים שמבינים תמונה וטקסט ומודלים שמוציאים פעולות לרובוט. זו טענה מעניינת, כי ל־T3000 יש רק כ־42 אחוז מביצועי ה־FP4 המרביים של T5000. אבל בהכרזה לא מופיעה טבלת בדיקות שמציינת איזה מודל נבדק, באיזו רמת דיוק, באיזה הספק, בכמה תמונות או אסימונים לשנייה ובאיזה זמן תגובה. ייתכן שעומסים מסוימים מוגבלים בזיכרון או אינם מנצלים את כל T5000; אי אפשר להרחיב את המשפט לכל רובוט ולכל מודל.

T2000 יורד מדרגה נוספת: 400 טרה־פעולות FP4 ו־16 גיגה־בייט זיכרון. זה כבר נפח שמכריח את המהנדס לבנות תקציב זיכרון לפני שהוא בוחר את המודל. בהכרזה עדיין לא מופיעים המעבד, רוחב הפס, צריכת ההספק, המידות, הממשקים או המחיר של הדגם הזה. לכן אפשר להבין לאיזה שוק NVIDIA מכוונת, אך עוד אי אפשר לתכנן סביבו לוח ומערכת קירור.

כדי שהמודולים הקטנים יעבדו, NVIDIA מצרפת לסיפור כלי תוכנה בשם Jetson Agent Skills. השם עלול להישמע כאילו סוכן AI מסתורי מכווץ את המודל בלחיצה, אבל בפועל מדובר באוסף הוראות וכלי עבודה פתוחים לעוזרי תכנות. הם יודעים לאסוף תמונת מצב של הזיכרון, ההספק והטמפרטורה, לאתר תהליכים מיותרים, לעבור למצב ללא מסך, להציע מנוע הסקה מתאים ולמדוד את התוצאה. אוסף נוסף מדריך שינוי של מערכת ההפעלה, הגדרות פינים, PCIe, מצלמות, מאוורר וצריבת לוח מותאם.

החיסכון עצמו מגיע מפעולות הנדסיות מוכרות. אפשר לכבות סביבת שולחן עבודה שאינה נחוצה בתוך רובוט, לבחור מימוש C++ רזה במקום סביבת Python כבדה, להסיר שלבי תצוגה מצינור וידאו ולהשתמש במנוע הסקה שמנהל זיכרון בצורה יעילה. השינוי הגדול ביותר מגיע לעיתים מקוונטיזציה: שמירת משקלי המודל בפחות סיביות. אם כל משקל עובר משש־עשרה סיביות לארבע, נפח המשקלים התאורטי קטן לרבע, לפני שסופרים טבלאות כיול, מטמון ותוצאות ביניים.

NVIDIA מדגימה זאת על עוזר רובוטי שרץ ב־Jetson Orin Nano עם 8 גיגה־בייט. כיבוי שולחן העבודה חסך כ־0.7 גיגה־בייט. מעבר של מודל ראייה ושפה בן שני מיליארד פרמטרים מ־FP16 לייצוג של ארבע סיביות ב־llama.cpp הוריד את צריכת הזיכרון שלו מ־6.6 ל־2.2 גיגה־בייט. אחרי האופטימיזציה, מערכת שכללה ראייה, זיהוי דיבור, יצירת קול, מעקב פנים ובקרת רובוט השתמשה ב־4.5 גיגה־בייט מתוך כ־7.6 גיגה־בייט זמינים.

בדוגמה אחרת החברה מעריכה שכיווץ Qwen3 בן שמונה מיליארד פרמטרים מ־FP16 ל־W4A16 יכול לחסוך כעשרה גיגה־בייט, ושמעבר של דגם בן ארבעה מיליארד פרמטרים מ־BF16 ל־INT4 חוסך כ־5.6 גיגה־בייט. אלה אינם גיגה־בייט חינם. פחות סיביות פירושן פחות דרכים לייצג כל משקל, ולכן צריך למדוד מחדש דיוק, איכות תשובות, זמן תגובה וקצב עבודה. מודל אחד כמעט לא ייפגע; אחר עלול לטעות דווקא במקרה הקצה שבגללו הרובוט צריך אותו.

ה־Agent Skills גם אינם מחליפים את הבדיקה הזאת. הם יכולים להראות שהממשק הגרפי צורך זיכרון ולהציע מנוע רזה יותר, אבל אינם יודעים מהו שיעור הטעויות המותר בזיהוי ארגז פגום או כמה זמן מותר לרובוט לעצור מול אדם. התקציב האמיתי הוא משולש: זיכרון, זמן תגובה ואיכות. אופטימיזציה שמצליחה באחד מהם יכולה לפגוע בשניים האחרים.

גם החיישנים ממשיכים לאכול מהתקציב. כמה מצלמות ברזולוציה גבוהה יוצרות מסגרות וידאו, מפות עומק ותוצאות ביניים; מערכת ניווט מחזיקה מפה והיסטוריית מיקום; מודל שפה שומר מטמון של השיחה; ובקר הרובוט צריך להמשיך לפעול בזמן שה־GPU עסוק. חיבור 25 גיגה־ביט יכול להכניס נתונים מהר, אך הנתונים עדיין צריכים מקום ונתיב עיבוד. לכן בדיקת מודל בודד אינה בדיקת רובוט שלם.

NVIDIA הכריזה במקביל על Cosmos 3 Edge, מודל בן ארבעה מיליארד פרמטרים שנועד להבין תמונה, להסיק ממנה ולייצר פעולה על מחשבי Thor. זה נותן ל־T3000 ול־T2000 שימוש מוחשי: מצלמה יכולה להזין מודל שמבין סצנה ומציע מדיניות פעולה בלי לשלוח וידאו לענן. אבל ברובוט שעובד ליד בני אדם, תשובת מודל אינה שכבת בטיחות. NVIDIA מייעדת גרסת IGX T3000 נפרדת למערכות שדורשות בטיחות תפקודית ואת סביבת Halos. אסור להעתיק את הבטחת הבטיחות הזו אוטומטית אל מודול Jetson רגיל.

המחיר האמיתי כרגע נמצא בלוח הזמנים. T3000 ו־T2000 אמורים להפוך לזמינים רק ברבעון הראשון של 2027. אמולציה של T3000 על ערכת Jetson AGX Thor מתוכננת בהמשך יולי עם JetPack 7.2.1; אמולציה של T2000 תגיע במועד עתידי שלא צוין. אין עדיין בהכרזה מחיר, דף נתונים מלא או טבלת הספק וממשקים סופית לשני המודולים.

אמולציה מאפשרת להגביל זיכרון וכוח חישוב ולראות אם התוכנה עדיין עומדת בזמן התגובה, וזה מצוין כדי להתחיל לעבוד. היא אינה מחליפה אב־טיפוס של המודול האמיתי. אי אפשר ללמוד ממנה כיצד המוצר הסופי מתחמם במארז קטן, אילו מצלמות יעבדו יחד, כמה רעש ייכנס למסילות ההספק או האם המודול יהיה זמין בכמות ובמחיר שמתאימים למוצר.

מה שזה אומר בפועל למהנדס הוא שההכרזה פותחת מסלול מעניין, אבל דורשת להתחיל מהזיכרון ולא מה־TFLOPS. צריך לרשום כמה מקום תופסים המודל, המטמון, המצלמות, מערכת ההפעלה ותהליכי הבקרה; למדוד את כולם במקביל; ורק אז לבדוק אם קוונטיזציה ומנוע רזה מאפשרים לרדת ל־32 או 16 גיגה־בייט בלי לפגוע במשימה. אם זה מצליח, T3000 ו־T2000 יכולים להוריד גודל, הספק ועלות של מוח רובוטי. אם לא, החיסכון בחומרה פשוט חוזר בתור חודשים של אופטימיזציה או מודל שפחות טוב בעבודה שלו.