GPU-baserede PC’er

En GPU-baseret PC er en industriel computer bygget op omkring et eller flere grafikkort, der bruges til at regne. Ikke til at vise billeder på en skærm, men til at udføre massivt parallelle beregninger. Det er den slags maskine, der træner en neural model, kører inferens på en kamerastrøm i realtid eller behandler punktskyer fra en lidar. I industrien er den blevet et af de vigtigste værktøjer, fordi den flytter tung databehandling helt ud til kanten af produktionen.

Forskellen på en almindelig industri-PC og en GPU-PC ligger i regnekraften. En CPU er god til opgaver med få, komplekse tråde. En GPU har tusindvis af enkle kerner, der arbejder samtidig. Når du skal lægge det samme regnestykke ned over millioner af pixels eller datapunkter, vinder GPU'en med stor margin. Det er præcis derfor deep learning og maskinvision er rykket over på grafikkort.

Udfordringen er, at et kraftigt grafikkort er skabt til en serverhal med aircondition og rigelig plads. Det skal nu køre i en maskinhal, på et tog eller i et skib. Her er der varme, vibration, støv og ingen pause. At få et 250 watt grafikkort til at køre stabilt 24/7 i de omgivelser er ikke trivielt. Det er kernen i, hvad denne artikel handler om.

Hvad bruges GPU-PC'er til i industrien

De fleste industrielle GPU-opgaver falder i to lejre. Den ene er træning, hvor du lærer en model at genkende mønstre ud fra store datamængder. Den anden er inferens, hvor den færdige model bruges til at træffe beslutninger i drift. Træning kræver mest rå kraft og sker ofte centralt. Inferens skal være hurtig og tæt på processen, og det er her edge-maskinen virkelig kommer til sin ret.

Ud over disse tre er der en lang hale af beregningstunge opgaver. Medicinsk billedbehandling, hvor scanninger analyseres direkte ved apparatet. Videoanalyse i trafik og overvågning, hvor mange streams skal afkodes og forstås samtidig. Simulering og digital tvilling, hvor en fysisk model regnes igennem løbende. Fælles for dem er, at de ville sætte en ren CPU-maskine i knæ.

Et konkret eksempel. En producent af elektronik vil tjekke loddede print for fejl. Et linjekamera tager billeder af hvert print, og en model trænet på tusindvis af eksempler afgør på millisekunder, om printet er godt. Det kører på en GPU-PC ved linjen. Ingen netværksforsinkelse, ingen afhængighed af en fjern server, fuld kontrol over data. Det er edge AI i praksis.

Hvorfor miljøet er svært

Et grafikkort til gaming eller server forventer rene, kølige omgivelser. Industrien giver det det modsatte. Det er her de fleste fejlslagne projekter strander, og det er værd at forstå hvorfor.

Varme er hovedfjenden

En kraftig GPU afsætter meget effekt som varme. Et kort i mellemklassen ligger på 75 til 150 watt. De tunge kort trækker 250 watt eller mere. Al den energi skal væk fra kabinettet, ellers skruer kortet selv ned for ydelsen for at beskytte sig. Det kaldes thermal throttling, og det betyder, at din dyre GPU pludselig regner langsomt, lige når der er mest brug for den. I et varmt maskinrum med 45 til 55 grader omgivende temperatur er der ikke meget luft tilbage at køle med.

Vibration og støv

Standardgrafikkort sidder løst i en PCIe-slot og holdes på plads af et enkelt beslag. På et tog eller i en mobil maskine ryster det sig løst over tid. Blæsere med kuglelejer slides og stopper. Støv lægger sig som et tæppe på køleribber og isolerer dem. En maskine, der suger snavset luft ind for at køle, fyldes indefra. Alt det forkorter levetiden drastisk, hvis kabinettet ikke er designet til det.

Strøm og oppetid

Industriel strøm er ikke ren. Spændingen dipper, der er transienter, og forsyningen kan være 24 volt jævnstrøm i stedet for almindelig 230 volt. Strømforsyningen i en GPU-PC skal kunne klare det og samtidig levere de høje, pludselige strømspidser, et grafikkort trækker under belastning. Og maskinen skal køre uafbrudt. Et produktionsstop koster penge i minuttet, så stabilitet vægter tungere end at presse den sidste procent ydelse ud.

Hvad du skal kigge efter i hardwaren

Når du vælger en GPU-PC til industri, er det fristende kun at se på, hvilket grafikkort der sidder i. Det er en del af billedet, men resten af maskinen afgør, om kortet overhovedet kan yde det, det skal.

• Køling dimensioneret til det fulde effektforbrug ved den højeste omgivende temperatur, ikke kun ved stuetemperatur.
• Strømforsyning med margin til GPU'ens strømspidser, gerne med understøttelse af bred indgangsspænding og jævnstrøm.
• Mekanisk fastgørelse af grafikkortet med ekstra støtte, så det ikke vibrerer løst i PCIe-slotten.
• Bredt driftstemperaturområde, typisk fra 0 til 50 grader eller mere, dokumenteret af producenten.
• Rigeligt med RAM og hurtig NVMe-lagring, så GPU'en ikke venter på data.
• I/O til opgaven. Flere ethernet-porte til kameraer, GPIO, serielle porte og PoE hvor det giver mening.

NVIDIA er standarden

I praksis betyder GPU-beregning i industrien næsten altid NVIDIA. Det skyldes ikke kun selve kortene, men software-økosystemet omkring dem. CUDA er det programmeringslag, som stort set alle deep learning-rammer bygger på. TensorRT optimerer trænede modeller til hurtig inferens. Værktøjer som DeepStream håndterer mange videostrømme effektivt. Når et bibliotek som PyTorch eller TensorFlow taler om GPU-acceleration, taler det reelt om NVIDIA. Det gør valget enklere, men det betyder også, at du skal matche kortets arkitektur med den software, du vil køre.

Diskrete kort eller integrerede moduler

Der er to veje. Den ene er et diskret grafikkort i en industri-PC, for eksempel et professionelt RTX-kort. Det giver mest rå kraft og bredest kompatibilitet, men kræver plads, køling og strøm. Den anden er et integreret modul som NVIDIA Jetson, hvor GPU, CPU og hukommelse sidder på samme chip. Jetson bruger langt mindre strøm, er kompakt og blæserløst muligt, men har lavere loft for ydelse. Tommelfingerreglen. Skal du træne eller køre mange tunge streams, vælg et diskret kort. Skal du køre en enkelt model strømbesparende langt ude på kanten, er et modul ofte det rigtige.

Køling af GPU i praksis

Køling fortjener sit eget afsnit, fordi det er her flest fejl sker. Der findes grundlæggende tre tilgange, og valget afhænger af effekt, miljø og hvor stille maskinen skal være.

Aktiv luftkøling med blæsere er det almindelige. Det virker fint op til en vis effekt, men blæsere er bevægelige dele, der slides, og de suger støv ind. I beskidte miljøer skal der filtre på, og filtre skal skiftes. Det er en vedligeholdelsesbyrde, man skal planlægge for.

Passiv eller fanless køling fjerner blæserne helt. Varmen ledes via heatpipes ud til kabinettets ydre, der fungerer som en stor køleflade. Det giver en lukket maskine uden indtag, hvilket er ideelt mod støv og fugt. Til gengæld sætter det en grænse for, hvor meget effekt der kan håndteres, så fanless egner sig bedst til moduler og lavere effekt-GPU'er.

Til de tungeste kort i de varmeste miljøer findes væskekøling og specialdesignede luftkanaler, der fører kølig luft direkte over GPU'en og varm luft ud uden at blande den med resten af elektronikken. Det er mere komplekst, men det er nogle gange den eneste vej til at holde et 250 watt kort under throttling-grænsen i en maskinhal.

Standarder og certificeringer

Hvor maskinen skal stå, afgør hvilke krav den skal opfylde. En GPU-PC i et rent kontrollokale har få formelle krav. En GPU-PC i et køretøj eller på et skib har mange. Det er vigtigt at få afklaret tidligt, for certificering kan ikke skrues på bagefter.

• EN50155 for elektronik i rullende jernbanemateriel. Dækker temperatur, vibration, stød og strømudfald på tog.
• Maritime godkendelser for udstyr om bord på skibe, hvor saltvand, vibration og strømkvalitet stiller særlige krav.
• IP-klassificering som IP65 for kabinetter, der skal modstå støv og vandstænk i åbne produktionsmiljøer.
• EMC-krav, så maskinen hverken forstyrrer andet udstyr eller selv forstyrres af det. Vigtigt nær motorer og frekvensomformere.
• Bred driftstemperatur dokumenteret efter anerkendte testmetoder, ikke blot en optimistisk angivelse på databladet.

Bemærk, at et diskret grafikkort sjældent selv er certificeret til disse standarder. Det er hele systemet, der godkendes. Derfor er det maskinens design omkring kortet, der bestemmer, om en EN50155-godkendelse overhovedet er mulig. Det er endnu en grund til, at man ikke bare propper et gaming-kort i et standardkabinet.

Sådan vælger du og vejer afvejningerne

Valget af GPU-PC handler om at finde balancen mellem fire ting. Ydelse, strømforbrug, størrelse og robusthed. Du kan sjældent få alle fire på maksimum samtidig, så det handler om at vide, hvad opgaven faktisk kræver.

Start med modellen, ikke med kortet

Det største spild sker, når man køber for meget grafikkort. Find først ud af, hvilken model der skal køre, og hvor hurtigt den skal svare. En letvægts inferensmodel på en enkelt kamerastrøm kræver ikke et topkort. En tung detektionsmodel på otte streams i realtid gør. Mål eller estimer behovet i billeder per sekund eller inferenser per sekund, og dimensioner derefter. Det sparer både indkøb og strøm.

Tænk på hele systemets levetid

En GPU-PC i industrien skal ofte holde i mange år. Grafikkort skiftes hurtigt på forbrugermarkedet, men i industrien tæller tilgængelighed over tid. Vælg en platform, hvor reservedele og samme model kan fås gennem hele anlæggets levetid. Tænk også på, at en model kan blive opdateret. En maskine med margin i regnekraft og hukommelse kan rumme en tungere model om to år uden at skulle udskiftes.

Edge eller central

Skal beregningen ske ude ved processen eller centralt. Edge giver lav forsinkelse, uafhængighed af netværk og fuld datakontrol. Central giver mere samlet kraft og lettere vedligehold, men kræver båndbredde og introducerer forsinkelse. Mange anlæg ender med en blanding. Træning centralt, inferens på kanten. GPU-PC'en er det, der gør edge-delen mulig.

Sådan hjælper EmbeddedPC

Vi bygger GPU-PC'er til den opgave, de skal løse. Det betyder, at vi starter med dit behov og ikke med en hyldevare. Hvilken model skal køre, hvor mange streams, hvor varmt bliver der, og hvilke certificeringer kræver miljøet. Ud fra det konfigurerer vi en maskine, hvor kort, køling, strøm og I/O passer sammen.

Fordi vi er en del af AiTech A/S og arbejder B2B, leverer vi ikke bare kassen. Vi rådgiver om afvejningerne, sikrer langtidstilgængelighed på platformen og står til rådighed, når maskinen skal i drift. Du får et tilbud baseret på den faktiske opgave, ikke en prisliste på løse dele. Tag fat i os med kravene, så vender vi tilbage med et konkret forslag.

Ofte stillede spørgsmål

Hvad er forskellen på AI-træning og inferens på en GPU-PC?

Træning er den proces, hvor en model lærer mønstre ud fra store datamængder. Det er den tungeste opgave og kræver mest regnekraft. Inferens er, når den færdige model bruges til at træffe beslutninger i drift, for eksempel at finde en fejl på et billede. Inferens er lettere per beregning, men skal ofte ske mange gange i sekundet og med lav forsinkelse. Mange anlæg træner centralt og kører inferens på en GPU-PC ude ved processen.

Kan jeg ikke bare bruge et almindeligt gaming-grafikkort?

Selve chippen kan godt regne det samme, men resten holder ikke i industrien. Et gaming-kort sidder løst i slotten, har forbrugerblæsere og er ikke designet til høj omgivende temperatur eller vibration. I et industrielt system bygges maskinen omkring kortet med ekstra fastgørelse, dimensioneret køling og en strømforsyning, der tåler forholdene. Det er forskellen på en maskine, der kører i tre måneder, og en der kører i flere år.

Hvor meget strøm bruger en industriel GPU-PC?

Det afhænger helt af kortet. Et integreret modul som Jetson kan klare sig med under 30 watt for hele systemet. En PC med et tungt diskret grafikkort kan trække 300 watt eller mere under fuld belastning. Det vigtige er, at strømforsyningen har margin til kortets pludselige strømspidser, og at anlæggets forsyning kan levere det stabilt. Vi regner altid et samlet strømbudget med, før vi anbefaler en løsning.

Hvordan undgår jeg, at GPU'en skruer ned på grund af varme?

Det handler om at dimensionere køling efter den værste case, ikke gennemsnittet. Hvis maskinen skal stå i et rum, der bliver 50 grader varmt, skal kølingen kunne håndtere det fulde effektforbrug ved netop den temperatur. Det opnås med rigeligt køleareal, gennemtænkt luftføring eller passiv køling til lavere effekt. Når hovedrummet er der, throttler kortet ikke, og du får den ydelse, du betalte for.

Skal jeg vælge NVIDIA Jetson eller et diskret grafikkort?

Vælg Jetson, hvis du skal køre en enkelt eller få modeller strømbesparende langt ude på kanten i en kompakt, gerne blæserløs maskine. Vælg et diskret kort, hvis du skal træne modeller eller køre mange tunge streams i realtid. Diskrete kort giver mest rå kraft og bredest softwarekompatibilitet, men kræver mere plads, strøm og køling. Vi hjælper med at matche valget til den konkrete model og belastning.

Holder en GPU-PC til drift på tog eller skibe?

Ja, men kun hvis hele systemet er designet til det og certificeret korrekt. Til jernbane gælder EN50155, og til skibe gælder maritime godkendelser. Det stiller krav til vibration, stød, temperatur og strømkvalitet, som et standardkabinet ikke opfylder. Certificering skal tænkes ind fra starten, fordi den former kabinet, køling og fastgørelse. Fortæl os miljøet, så foreslår vi en platform, der kan godkendes til det.