AI sluka energi snabbare än kraftverken hinner med
Artificiell intelligens växer i rasande fart – och elräkningarna i datacenter växer i samma takt. Forskare från Kina föreslår en förvånansvärt enkel förändring av hur vi tänker kring träning av AI-modeller.
Forskare vid ett laboratorium i Zhejiang har visat att djupa neurala nätverk inte alls behöver svälja lika mycket energi som de gör idag. Det räcker med en annan typ av kretsar och en smartare inlärningsmetod för att energiförbrukningen ska sjunka med flera storleksordningar – utan att modellernas prestanda försämras dramatiskt.
Växande modeller kräver enorma mängder el
Stora språkmodeller, generativa bildalgoritmer och rekommendationssystem körs på tusentals processorer och grafikkort. Varje träningssteg kräver gigantisk beräkningskraft – och därmed enorma mängder elektricitet. Teknikföretag bygger datacenter på löpande band, och experter börjar fråga sig om elkostnaderna snart blir det största hindret för AI:s fortsatta utveckling.
Laboratorier runt om i världen söker därför metoder för att träna modeller billigare och mer energieffektivt. En av de mest lovande vägarna framåt är att flytta beräkningarna från klassiska processorer till en helt annan arkitektur – en som bygger på så kallade memristorer och analog bearbetning direkt i minnet.
Memristorer: elektronik som "minns" sitt motstånd
En memristor är ett speciellt elektroniskt element som kombinerar funktionerna hos ett motstånd och ett minne. Dess elektriska motstånd beror på historiken hos det ström som flödat genom det, vilket innebär att det bevarar ett slags avtryck av tidigare tillstånd. Man kan se det som en miniatyrversion av en neuron: den lagrar en kopplingsparameter och kan samtidigt utföra enkla beräkningar direkt på plats.
I en memristorbaserad arkitektur sker beräkningarna lokalt, inne i minneselementen själva, istället för att data ska transporteras fram och tillbaka mellan minne och processor. Det kortar ner datavägen markant, minskar förluster och skapar i teorin möjligheter till enorma energibesparingar.
Hittills har dock ett stort problem bromsat den här utvecklingen: memristorer är långt ifrån perfekta. De genererar brus, beter sig ojämnt och deras tillstånd kan sällan ställas in med den exakthet som klassiska inlärningsalgoritmer kräver. Traditionella metoder behandlar dessa brister som hinder, vilket gör att resultaten blir sämre än på digitala superdatorer.
Träning som "samarbetar" med operfekt hårdvara
Vad EaPU-metoden går ut på
Teamet från Zhejiang har utformat en ny inlärningsmetod som inte försöker bekämpa memristorernas fysiska begränsningar – utan istället tar hänsyn till dem. Lösningen kallas EaPU, från engelskans "error-aware probabilistic update", ungefär feltolerant sannolikhetsbaserad parameteruppdatering.
EaPU-metoden tillåter små felmarginaler i nätverkets parametrar och korrigerar inte varje minimal förändring, vilket drastiskt minskar antalet skrivoperationer i memristorerna.
Istället för att uppdatera alla vikter vid varje träningssteg – precis som klassiska algoritmer gör – modifierar nätverket färre än 0,1 procent av parametrarna. Algoritmen analyserar vilka felavvikelser som är tillräckligt betydelsefulla för att motivera en energikostnad, och vilka som ryms inom memristorernas acceptansmarginal.
Färre skrivningar ger längre livslängd och lägre kostnader
Att skriva ett memristortillstånd kostar betydligt mer energi än att läsa det. Varje skrivoperation sliter dessutom på materialet och förkortar elementets livslängd. Eftersom EaPU radikalt minskar antalet sådana skrivningar märks effekten direkt på tre områden:
- Kraftigt minskad energiförbrukning under nätverkets träningsfas,
- mycket lägre komponentslitage – kretsarna håller längre utan att gå sönder,
- mindre värmeutveckling under träningen, vilket förenklar kylningen.
Enligt studiens författare minskar den nya tekniken energiförbrukningen vid memristorbaserad träning med ungefär 50 gånger jämfört med tidigare liknande metoder. Det är i sig imponerande – men det är inte hela historien.
En miljon gånger mindre energi än klassiska GPU:er
De mest slående siffrorna dyker upp när det nya tillvägagångssättet jämförs med konventionella system baserade på grafikkort. Enligt Zhejiang-teamets beräkningar är den totala energiförbrukningen vid träning på analog memristorarkitektur med EaPU ungefär sex storleksordningar lägre – det vill säga runt en miljon gånger mindre – jämfört med ett typiskt GPU-baserat system.
Forskarna uppger att noggrannheten är jämförbar med en digital superdator, samtidigt som energiförbrukningen kan vara upp till en miljon gånger lägre än hos grafikkortbaserade system.
Det som är särskilt anmärkningsvärt är att nätverkets prestanda inte försämras lika mycket som man kanske fruktar. Jämfört med tidigare memristorbaserade träningsmetoder förbättrar EaPU modellernas noggrannhet med cirka 60 procent. I praktiken innebär det att slutresultatet är jämförbart med vad man kan uppnå på en klassisk digital superdator.
En ytterligare effekt är ett enormt språng i hårdvarans hållbarhet. Färre skrivoperationer gör att den beräknade livslängden för enheterna enligt forskarna ökar upp till tusen gånger. Det ger i sin tur lägre infrastrukturkostnader på lång sikt.
Hur den nya tekniken testades
Teamet genomförde tester på ett system med en memristormatris med en storlek på 180 nanometer. Det handlade alltså inte om toppmoderna laboratorieprototyper i gränslandet för vad litografin klarar, utan om relativt realistisk hårdvara som man kan föreställa sig i framtida kommersiella tillämpningar.
På denna plattform tränade man neurala nätverk för bildbehandlingsuppgifter, bland annat avbrusning av foton och förhöjning av bildupplösning. Det är typiska användningsområden där både kvalitet och hastighet spelar roll, och där det är relativt enkelt att jämföra resultaten med vad traditionella processorer och grafikkort åstadkommer.
Resultatet: bildbehandlingens kvalitet låg mycket nära vad standardiserade digitala metoder presterar, vid avsevärt lägre energiförbrukning. Skillnaden begränsas alltså inte till en enda parameter, utan berör flera områden samtidigt – från elförbrukning och hållbarhet till noggrannhet.
Kan stora språkmodeller tränas på samma sätt?
Den brännande frågan just nu är: kan det här angreppssättet tillämpas på gigantiska språkmodeller, som de LLM:er som används i chattbotar och kodsystem? Projektets upphovsmän är försiktiga men optimistiska.
Forskarna hävdar att EaPU-tekniken i princip inte är begränsad till mindre nätverk och borde kunna skalas upp till stora språkmodeller, förutsatt att hårdvaran hänger med i storlek och precision.
Tillsvidare begränsas de av det tillgängliga laboratoriet och storleken på de kretsar de använder, men de planerar tester på betydligt större arkitekturer. Om ens en del av fördelarna kan överföras till modeller med miljarder parametrar kan hela molntjänstbranschen förändra sin energiprofil.
Inte bara memristorer – en bredare hårdvarurevolution
En intressant del av Zhejiang-teamets slutsatser handlar om hur universellt deras synsätt egentligen är. EaPU-algoritmen bygger på att den känner till den specifika hårdvarans begränsningar och lär sig samarbeta med dem istället för att tvinga fram perfekt noggrannhet. Av den anledningen behöver den inte vara bunden enbart till memristorer.
Forskarna påpekar att en liknande strategi kan tillämpas på andra icke-klassiska minnes- och transistorteknologier, bland annat:
- ferroelektriska transistorer,
- magnetoresistiva minnen,
- andra typer av icke-flyktigt minne som designats specifikt med AI i åtanke.
EaPU kan därför betraktas mer som en designfilosofi för inlärningsalgoritmer anpassade till operfekt, analog hårdvara – snarare än ett engångsverktyg för en enda kretsfamilj.
Vad detta betyder för AI-användare och elräkningar
Ur en vanlig användares perspektiv kanske skillnaden verkar osynlig. Röstassistenten i smartphonen svarar ändå på frågor, och chattboten i appen fortsätter att generera text. Förändringen handlar om vad som sker bakom kulisserna – det vill säga hur mycket energi och pengar som går åt för att hålla hela infrastrukturen igång.
Företag som satsar på AI-utveckling brottas med stigande kostnader för el, kylning och utbyggnad av datacenter. Om tekniker som memristorbaserade kretsar med EaPU får brett genomslag kan en del av dessa kostnader sjunka. Det underlättar att hålla tjänstepriserna på en rimlig nivå, och avlastar samtidigt elnätet.
Ur miljösynpunkt innebär en så djupgående minskning av elförbrukningen ett lägre koldioxidavtryck. AI kommer inte att försvinna, så den enda realistiska vägen framåt är att varje ny generation hårdvara och algoritmer arbetar alltmer sparsamt med energin.
Varför det ibland lönar sig att acceptera fel
I bakgrunden till den här forskningen finns en förändrad grundsyn. Det klassiska synsättet på elektronik strävar efter maximal precision och reproducerbarhet hos varje komponent. I praktiken är det ofta mycket kostsamt, och i den skala som massiv AI kräver är det nästan ohållbart.
Metoder som EaPU utnyttjar det faktum att inlärande modeller redan i sig kan hantera en viss nivå av brus och osäkerhet. Ett neuralt nätverk tål små avvikelser i viktvärdena, och partiella fel behöver inte leda till katastrofala resultat. Om sluteffekten stämmer överens med förväntningarna kan en lätt "oskärpa" i parametrarna ses som ett acceptabelt pris för radikalt lägre energiåtgång.
Det här tankesättet påminner på sätt och vis om biologin: den mänskliga hjärnan arbetar inte med perfekt precision, neuroner misslyckas, signaler förvrängs – och ändå fungerar helheten förvånansvärt stabilt och energieffektivt. En artificiell intelligens som försöker efterlikna den egenskapen kan bli inte bara smartare, utan också betydligt mer sparsam.
