NVIDIA Jetson: Arkitektur, arbete och dess tillämpningar

Den ledande plattformen i världen som NVIDIA Jetson är en sekvens av inbyggda datorkort som främst används i autonoma maskiner och andra inbäddade applikationer . Detta kort innehåller främst Jetson-moduler, som är högpresterande datorer. Jetson är väl lämpad med liknande AI-programvara och ett molnbaserat arbetsflöde som används över andra NVIDIA-plattformar och ger energieffektiv prestanda för kunder att bygga mjukvarubaserade autonoma maskiner. NVIDIA Jetson används för datorseende applikationer. Så, den här artikeln diskuterar en översikt över NVIDIA Jetson – arbete och dess applikationer.

Vad är NVIDIA Jetson?

NVIDIA Jetson är en avancerad inbäddningssystem board som används för att skapa innovativa AI-produkter inom flera branscher. NVIDIA Jetson är en av de ledande hårdvaruplattformarna som är mycket användbar för teknikentusiaster och även studenter för att få praktisk erfarenhet genom en rad innovativa AI-projekt. Detta kort är ett mycket effektivt kort för AI som inkluderar modulära, liten formfaktor och högpresterande kantdatorer. Dessutom innehåller det här kortet också JetPack SDK som används för mjukvaruacceleration samt ett komplett ekosystem för att hjälpa till att öka utvecklingsproceduren för anpassade AI-projekt.

NVIDIA Jetson-arkitektur

Vi vet att Nvidia Jetson-modulen från Nvidia är en sekvens av inbyggda datorkort. Alla modeller av Jetson TX1, TX2 & TK1 har en SoC- eller Tegra-processor från Nvidia som har en ARM-arkitektur CPU. Här är Jetson ett lågeffektsystem som huvudsakligen är designat för att accelerera maskininlärningsapplikationer.

NVIDIA Jetson Xavier NX-arkitekturen visas nedan. Det är den mest avancerade och lilla AI-superdatorn som används för edge computing-enheter såväl som autonom robotik . Den här modulen har kapacitet att distribuera prestanda i serverklass inom en solid formfaktor på 70x45 mm och ger även upp till 21 TOPS beräkning under 15W effekt, annars upp till 14 TOPS beräkning under 10W.

Diagrammet ovan innehåller en inbyggd 384-kärnig NVIDIA Volta GPU inklusive en 6-kärnig NVIDIA Carmel ARMv8.2 64-bitars CPU, 48 tensorkärnor, 8GB 128-bitars LPDDR4x, 4K-videokodare och -avkodare, dubbla NVDLA (NVIDIA Deep Learning Accelerator)-motorer, kamera för upp till sex momentana högupplösta sensorströmmar, dubbla skärmportar eller HDMI 4K-skärmar, PCIe Generation 3-expansion, USB 3.1 & GPIO med I2C, SPI, I2S, UART & CAN-buss.

Specifikationerna för NVIDIA Jetson inkluderar följande.

• Effekten är 10W eller 15W lägen och 5V ingång.
• CPU är 6-kärnig NVIDIA Carmel 64-bitars ARMv 8.2 vid 1400MHz.
• GPU är en 384-kärnig NVIDIA Volta vid 1100MHz till 48 tensorkärnor.
• DL är Dual NVDLA-motorer.
• Minnet är 8GB 128-bitars LPDDR4x vid 1600MHz.
• 16 GB eMMC 5.1-lagring.
• Kameran är 12x MIPI CSI-2 banor | 3×4 eller 6×2 kameror.
• Upp till 6 kameror (36 via virtuella kanaler).
• Värme från -25°C till 90°C.
• Skärmen är DP 1.4 eller eDP 1.4 eller HDMI 2.0 a/b vid 4Kp60.
• Ethernet är 10 eller 100 eller 1000 BASE-T Ethernet.
• USB 3.1 och USB 2.0.

Denna modul stöds av hela CUDA-X-mjukvarustacken av NVIDIA och även JetPack SDK för AI-utveckling. Den kör mycket populära ramverk för maskininlärning och svåra DNN:er på flera högupplösta sensorströmmar samtidigt, förutom datorseende i realtid, grafik och multimediaapplikationer i en komplett Linux-miljö för skrivbordet.

För närvarande började utvecklare designa AI-applikationer för Jetson Xavier NX med hjälp av Jetson AGX Xavier Developer Kit. Om du applicerar en enhetsmönsterpatch nära JetPack kommer enheten att fungera som en Jetson Xavier NX. Detta kommer att modifiera antalet GPU- och CPU-kärnor som kan erhållas via programvara och ställa in klockfrekvenser samt spänningar för kärnor över systemet.

Plåstret är helt reversibelt vilket används för att approximera Jetson Xavier NX-prestandan. Denna modul kommer att klassificera standardeffektlägen på 10W och 15W och uppnår mellan 14 och 21 TOPS toppprestanda baserat på det aktiva läget. Verktyget nvpmodel används för att hantera kraftprofiler för att justera de högsta CLK-frekvenserna för GPU, CPU, diverse SoC-klockor och minneskontroller tillsammans med de olika CPU-klustren.

Baserat på arbetsbelastningen balanserar DVFS-regulatorn (Dynamic Voltage & Frequency Scaling) frekvenserna vid körning upp till sina högsta gränser enligt beskrivningen av den aktiva nvp-modellen, vilket innebär att strömutnyttjandet minskar vid tomgång och baserat på processordrift. Verktyget nvpmodel hjälper till att skapa och modifiera nya energilägen baserat på TDP och applikationskrav.

NVIDIA Jetson-modulen tar superdatorns prestanda till kanten inom en liten formfaktor SOM (system-on-modul). Lika med 21 TOPS av accelererad beräkning skickar hästkrafterna att köra nuvarande neurala nätverk parallellt och bearbeta data från olika högupplösta sensorer. Denna modul är idealisk för högpresterande AI-system som medicinska instrument, kommersiella robotar, AIoT inbyggda system, smarta kameror, automatiserad optisk inspektion, högupplösta sensorer, smarta fabriker, etc.

programvara

NVIDIA Jetson-modulen stöds helt enkelt genom kombinerade mjukvaruarkitekturer så att det kommer att göra mjukvaruutvecklare att arbeta mycket enklare. Detta kombinerade tillvägagångssätt sparar helt enkelt utvecklarna besväret med repetitiv kodning samtidigt som de förbättrar deras formationer på andra Jetson-moduler.

NVIDIA JetPack SDK är tillgänglig med ett Linux OS, CUDA-X accelererade bibliotek och API:er för olika maskininlärningsområden som datorseende, djupinlärning, etc. Den stöder också ramverk för maskininlärning som Caffe, TensorFlow, Keras och OpenCV datorvision bibliotek.
NVIDIA Jetson erbjuder olika mjukvaruverktyg för sina moduler som diskuteras nedan.

NVIDIA JetPack SDK

Jetson-plattformsprogramvara Bundar som TensorRT, CUDA Toolkit, cuDNN, GStreamer, OpenCV och Visionworks är alla sammansatta ovanpå L4T genom LTS Linux-kärnan.

NVIDIA Jetson Linux-drivrutinspaket

Den tillhandahåller Linux-kärnan, NVIDIA-drivrutiner, bootloader, exempelfilsystem, blinkande verktyg och många fler för plattformen Jetson.

NVIDIA DeepStream SDK

Det är en uppsättning API:er och bibliotek för att hjälpa utvecklare att designa och arrangera starka IVA-lösningar (intelligent video analytics) på Jetson-plattformen. Det används för att bygga komplexa applikationer som kodning, bildtagning, avkodning, slutledning med TensorRT, etc.

NVIDIA Isaac SDK

Det är en uppsättning bibliotek, API:er, drivrutiner och andra verktyg som kommer att lägga till AI till nästa generations robotar för navigering, perception och manipulation. Så det hjälper till att skapa och distribuera AI-driven robotik.

NVIDIA Jetson-typer

NVIDIA Jetson-modulen kommer med minne, GPU, CPU, höghastighetsgränssnitt, strömhantering, etc. Dessa moduler finns tillgängliga i olika prestanda, energieffektivitet och variationer av formfaktorer för att de ska kunna användas inom olika branscher. Det finns olika NVIDIA Jetson-enheter tillgängliga som diskuteras nedan.

NVIDIA Jetson Nano

NVIDIA Jetson Nano-modulen är lämplig för utvecklare eller studenter och även för nybörjare eftersom den huvudsakligen är designad för praktisk inlärning och undervisning. Storleken på denna modul är liten men dess strömeffektivitet och prestanda är hög för att göra den perfekt för att köra nuvarande flera parallella neurala nätverk, AI-arbetsbelastningar och databehandling från högupplösta sensorer på en gång. Således är Jetson Nano-modulen en mycket populär kantenhet som används för att göra inbäddade AI-produkter och lösningar.

Denna modul är perfekt för AI-baserade datorseendeapplikationer och den utför AI-visionsuppgifter som objektdetektering, bildsegmentering, bildklassificering, etc. Denna modul är mycket kompatibel med datorseendeprogramvara med öppen källkod och OpenCV-maskininlärningsbibliotek.

NVIDIA Jetson TX2-serien

NVIDIA Jetson TX2 Series-modulen är designad i kreditkortsstorlek. Funktionerna i denna modul inkluderar huvudsakligen en NVIDIA Pascal GPU, upp till 8 GB minne, 59,7 GB/s minnesbandbredd och standard hårdvarugränssnitt. Denna modul ger prestanda upp till 2,5 gånger jämfört med NVIDIA Jetson Nano-modulen.

Denna modul kör mycket effektivt djupa neurala nätverk på edge-enheter för att uppnå högre noggrannhet. Modulerna som är tillgängliga i serien inkluderar främst Jetson TX2 4GB, Jetson TX2i, Jetson TX2 och Jetson TX2 NX. NVIDIA Jetson TX2 NX-modulen delar helt enkelt pin- och formfaktorkompatibilitet genom Jetson Xavier NX och Jetson Nano.

De återstående tre modulerna kommer att dela den ursprungliga Jetson TX2-modulens formfaktor. Användningen av TX2-serien sträcker sig helt enkelt inom olika branscher som jordbruk, tillverkning, biovetenskap, detaljhandel etc. Jetson TX2i-modulen från de återstående modulerna är mest lämplig för högpresterande AI-enheter som medicinsk utrustning, maskinseendekameror och industrirobotar eftersom av sin starka design.

Denna modul är en mycket snabb inbäddad AI-datorenhet som erbjuder hög effekteffektivitet som 7,5 W, superdatorfunktioner främst för avancerade AI-enheter, och även olika hårdvarugränssnitt för att enkelt integreras i olika produkter och formfaktorer.

NVIDIA Jetson Xavier NX

NVIDIA Jetson Xavier NX-modulen är mycket liten jämfört med ett kreditkort med hög prestanda och energieffektivitet. Denna är också känd som den minsta AI-superdatorn för edge & inbyggda system i världen. Denna modul hjälper särskilt till att köra kompletta AI-system.

Funktionerna i Jetson Xavier NX stöder även molnbaserade teknologier, så det är lätt för utvecklare att uppgradera och hantera AI-produkter. Den här modulen stöder alla populära AI-modeller och ramverk. Så den här modulen passar helt och hållet högpresterande AI-system som smarta kameror, AI-drivna högupplösta visionsystem, drönare, kommersiella robotar eller medicinsk utrustning.

NVIDIA Jetson Xavier NX-modulen levererar 21 Tera-operationer per sekund eller TOPS för att köra en aktuell AI-arbetsbelastning genom att förbruka 10W ström. Formfaktorn för denna modul är mer kompakt jämfört med ett kreditkort. Xavier NX-modulen kör olika neurala nätverk samtidigt och bearbetar data från olika högupplösta sensorer. Den här typen av modul används för att designa applikationer för inbäddade och edge computing-enheter som behöver hög prestanda men med betydande vikt-, storleks- och effektbegränsningar.

NVIDIA Jetson AGX Xavier-serien

NVIDIA Jetson AGX Xavier Series-modulen är främst utvecklad för nästa generations autonoma intelligenta maskiner. Denna modul ger upp till 32 TOPS- eller Tera-operationer per sekund av AI-prestanda vid användning så lite som 10 watt. Mjukvaruutvecklaren får helt enkelt snabbt ordna neurala nätverk med en uppsättning AI-programvaruverktyg från NVIDIA.

Denna modul tillhandahåller olika specifikationer och funktionella säkerhetsfunktioner så att utvecklare skapar säkerhets- eller industricertifierade produkter. Denna moduls höga prestanda kan göra dem lämpliga för många autonoma maskiner som logistik- och industrirobotar, fabrikssystem och stora drönare.

Jetson Xavier NX Developer Kit

Jetson xavier nx-utvecklarsatsen innehåller en solid strömsnål Xavier NX-modul som används för AI-drivna edge-enheter. Den här modulen har vissa funktioner som molnbaserad support och accelererar stapeln av NVIDIA-programvara på bara 10W med över 10 gånger prestanda hos Jetson TX2. Det här utvecklarpaketet används av tillverkare av intelligenta maskiner, AI-startups och applikationsutvecklare för att designa moderna produkter med kompakt, mycket exakt AI-inferens och energieffektiv formfaktor.

Jetson AGX Xavier Industrial

Jetson AGX Xavier Industrial-modulen är en del av AGX Xavier-serien. Designen av denna modul är en stiftkompatibel formfaktor som styr de senaste AI-modellerna i krävande applikationer. Denna modul ger utökade vibrationer, stötar, temperaturspecifikationer, avancerade säkerhetsfunktioner, upp till 4 gånger minnet och 20 gånger prestanda för TX2i-modulen.

Den här modulen är till stor hjälp för designers att designa automation, robotik och andra intelligenta produkter. Dessutom designar den också säkerhetscertifierade och robusta produkter för att leverera hög prestanda för industriella, AI-inbäddade funktions- och säkerhetsapplikationer i en design av robust såväl som energieffektiv formfaktor.

Fördelar

De fördelarna med NVIDIA Jetson inkluderar följande.

• NVIDIA Jetson är lämplig för studenter, individuella utvecklare och olika organisationer.
• Jetson-plattformen är mycket populär eftersom den kommer med olika fördelar som modulär flexibilitet, enhetlig programvara och stöd för molnbaserade teknologier.
• Detta kort innehåller en uppsättning moduler som är mycket användbara för allt från grundläggande AI-applikationer till mycket komplexa AI-drivna enheter.
• Detta kort är kraftdrivet genom en enhetlig mjukvaruarkitektur som hjälper utvecklarna från den repetitiva kodningen. När de väl behöver AI/ML-kapacitet kan de inkludera en relaterad Jetson-modul till enheten och den tar hand om de tunga lyften.
• NVIDIA Jetson-plattformen stöder helt enkelt molnbaserade teknologier och arbetsflöden som orkestrering och containerisering, vilket ger utvecklare möjligheten att snabbt utveckla och expandera AI-produkter.
• NVIDIA JetPack SDK är tillgänglig med ett Linux OS, API:er och CUDA-X accelerationsbibliotek för en mängd olika maskininlärningsdomäner som datorseende och djupinlärning. Det ger också stöd för ramverk för maskininlärning som Caffe och Keras, TensorFlow och OpenCV-bibliotek för datorseende.

Nackdelar

Det har väldigt få nackdelar när man tar hänsyn till priset

• NVIDIA Jetson nanomodulen är inte tillgänglig med wifi inuti.
• NVIDIA Jetson nanomodul innehåller endast två PWM-stift på kortet.

Ansökningar

Tillämpningarna av NVIDIA Jetson inkluderar följande.

• NVIDIA Jetson-modulen erbjuder överlägsna inbäddningssystem som används för att göra AI-produkter för en mängd olika scenarier. Det här är en strömsnål modul som används för AI och som inkluderar högpresterande, modulära och kantdatorer med liten formfaktor.
• Nvidia Jetson-kort är främst designade för användning i inbyggda system som drönare, robotar och andra enheter som behöver kraftfull bearbetning inom en liten formfaktor. De vanliga applikationerna för Jetson-kort inkluderar främst medicinsk utrustning, autonoma fordon, digital skyltning, AR/VR-headset, smarta stadsapplikationer, etc.
• Den här modulen stöder enhetliga programvaruarkitekturer för att göra mjukvaruutvecklarnas arbete mycket enkelt.
  NVIDIA Jetson-modulerna och -enheterna är optimerade kantenheter som används för att utveckla Edge AI-system.
• NVIDIA Jetson Nano Developer Kit är en mycket kraftfull och liten dator som kör flera neurala nätverk parallellt för olika applikationer som objektdetektering, bildklassificering, talbearbetning & segmentering.
• NVIDIA Jetson Nano-modulen är perfekt för datorseendeapplikationer baserade på AI och de utför AI-visionsuppgifter som bildsegmentering, bildklassificering, objektdetektering, etc.
• Nanomodulerna från NVIDIA Jetson ger otroliga nya funktioner till tusentals energieffektiva och små AI-system
• NVIDIA Jetson Nano-modulen är kompatibel med OpenCV-maskininlärningsbibliotek och datorseendeprogramvara med öppen källkod.

Q). Vad är strömförbrukningen för Jetson-moduler?

A). Strömförbrukningen för Jetson-modulen varierar beroende på modell och användning. Jetson Xavier-modulen har till exempel en typisk strömförbrukning på cirka 15w till 30w, medan Jetson TX2 kan förbruka mellan 7w till 15w.

Q). Kan Jetson användas för att detektera och spåra objekt i realtid?

A). Ja, Jetson Platforms kan hantera syndetektering och spårning. Nanomodul är en högpresterande GPU- med edge computing-plattform som huvudsakligen kan användas för detektering, räkning och spårning.

Q). Vilka typer av sensorer kan Jetson samverka med?

A). Synsensorer används för att koppla Jetson till olika kameragränssnitt som USB, MIPI CSI och Ethernet. De kan också samverka med lidar, ultraljudssensorer och andra typer samt använda de olika typerna av gränssnitt som I2C, SPI etc.

Q). Vad är skillnaden mellan Jetson och Raspberry Pi?

A). Den största skillnaden mellan dessa två brädor är; NVIDIA Jetson har utvecklats för att hantera krävande AI- och datorseende uppgifter medan Raspberry Pi 4-kortet har lågeffektsbaserad multimedia-GPU som används för allmänt bruk och utbildning. Jetson kan användas för mer avancerade funktioner som hårdvaruaccelererad videoavkodning och kodning med hjälp av dess kraftfulla GPU (Graphical Processing Unit) och CPU (Central Processing Unit).

Q). Kan Jetson användas för autonoma robotapplikationer?

A). Morgondagens autonoma robotik och industri kommer att drivas av NVIDIA Jetson för intelligenta maskiner och robotar.

Detta är alltså en översikt över NVIDIA Jetson – fördelar och dess tillämpningar. Denna modul är den ledande plattformen runt om i världen som används av utvecklare för att göra avancerade AI-produkter i alla branscher. Dessa moduler används också av studenter och även entusiaster för att få praktisk erfarenhet av AI-inlärning för att göra fantastiska projekt. Jetsons plattform består huvudsakligen av strömsnåla, små utvecklarsatser och produktionsmoduler. Här är en fråga till dig, vad är NVIDIA?