AI slukare energi snabbare än kraftverken hinner med
Artificiell intelligens växer i rasande takt – och elräkningarna i datacentralerna växer precis lika snabbt. Forskare från Kina föreslår nu en förvånansvärt enkel förändring av hela träningsfilosofin.
Forskargruppen från ett laboratorium i Zhejiang har visat att djupa neurala nätverk inte alls behöver konsumera lika mycket energi som de gör idag. Med rätt typ av kretsar och en smart inlärningsmetod kan energiförbrukningen minska med flera storleksordningar – utan att modellernas prestanda försämras dramatiskt.
Språkmodeller, grafiska algoritmer och rekommendationssystem – alla är energitörstiga
Moderna språkmodeller, generativa bildalgoritmer och rekommendationssystem körs på tusentals processorer och grafikkort. Varje träningssteg kräver enorm beräkningskraft, och därmed enorm mängd el. Teknikföretag bygger nya serverfarm efter serverfarm, och experter börjar fråga sig om elkostnaderna snart blir det främsta hindret för AI:s fortsatta utveckling.
Laboratorier världen över söker därför metoder för att träna modeller billigare och mer energieffektivt. En av de mest lovande vägarna är att flytta beräkningarna från klassiska processorer till en helt annan arkitektur – en som bygger på så kallade memristorer och analog bearbetning direkt i minnet.
Memristorer: elektronik med minne
En memristor är ett speciellt elektroniskt element som kombinerar funktionerna hos ett motstånd och ett minne. Dess elektriska motstånd beror på historiken hos det ström som tidigare flödat genom den – vilket innebär att den bär ett slags spår av tidigare tillstånd. Man kan betrakta den som en miniatyrversion av en neuron: den lagrar en kopplingsvikning och möjliggör samtidigt enkla beräkningar direkt på plats.
I en memristorbaserad arkitektur sker beräkningarna lokalt i själva minneselementen, istället för att data transporteras fram och tillbaka mellan minne och processor. Det förkortar datavägen avsevärt, minskar förluster och möjliggör i teorin enorma energibesparingar.
Hittills har dock ett stort problem bromsat utvecklingen: memristorer är långt ifrån perfekta. De introducerar brus, beter sig ojämnt och deras tillstånd kan inte alltid ställas in med den precision som klassiska inlärningsalgoritmer kräver. Traditionella metoder behandlar dessa brister som hinder, vilket gör att resultaten blir sämre än på digitala superdatorer.
En träningsmetod som samarbetar med hårdvarans brister
Så fungerar EaPU-metoden
Forskargruppen från Zhejiang har utformat en ny inlärningsmetod som inte försöker bekämpa memristorernas fysiska begränsningar – utan istället tar hänsyn till dem. Lösningen kallas EaPU, från engelskans "error-aware probabilistic update", vilket kan översättas som felberoende probabilistisk parameteruppdatering.
EaPU-metoden tillåter små felmarginaler i nätverkets parametrar och korrigerar inte varje minimal förändring – vilket radikalt minskar antalet skrivoperationer i memristorerna.
Istället för att uppdatera samtliga vikter vid varje träningssteg, som klassiska algoritmer gör, modifierar nätverket färre än 0,1 procent av parametrarna. Algoritmen analyserar vilka felskillnader som är tillräckligt betydande för att det ska vara värt att "betala" energimässigt för dem, och vilka som ryms inom det acceptabla intervall som memristorernas tolerans för unoggrannhet medger.
Färre skrivoperationer ger längre livslängd och lägre elräkning
Att skriva ett tillstånd till en memristor kostar betydligt mer energi än att läsa det. Varje skrivoperation sliter dessutom på materialet och förkortar elementets livslängd. Eftersom EaPU drastiskt minskar antalet sådana operationer märks effekten omedelbart inom tre områden:
- Kraftigt minskad energiförbrukning under nätverkets träning,
- Betydligt lägre komponentslitage – kretsarna håller längre utan avbrott,
- Mindre värmeutveckling under träningen, vilket förenklar kylningen.
Enligt studiens författare minskar den nya tekniken energiförbrukningen vid memristorbaserad träning med ungefär 50 gånger jämfört med tidigare metoder av samma slag. Det är redan imponerande – men det är inte hela historien.
En miljon gånger mindre energi än klassiska GPU:er
De mest slående siffrorna framträder när det nya angreppssättet jämförs med klassiska system baserade på grafikkort. Enligt Zhejiang-teamets uppskattningar är den totala energiförbrukningen vid träning av motsvarande uppgifter på en analog memristorarkitektur med EaPU ungefär sex storleksordningar lägre – det vill säga ungefär en miljon gånger – jämfört med ett typiskt GPU-baserat system.
Forskarna uppger att noggrannheten är jämförbar med en digital superdator, samtidigt som energiförbrukningen kan vara upp till en miljon gånger lägre än hos grafikkortbaserade system.
Det viktiga är att nätverkets prestanda inte försämras lika mycket som man kanske fruktar. Jämfört med tidigare träningsmetoder för memristorer förbättrar EaPU modellernas precision med cirka 60 procent. I praktiken innebär det att slutresultatet är jämförbart med vad som kan uppnås på en klassisk digital superdator.
En ytterligare effekt är ett enormt språng i hårdvarans hållbarhet. Det minskade antalet skrivoperationer gör att den uppskattade livslängden för enheterna enligt forskarna ökar med upp till tusen gånger – vilket i sin tur minskar infrastrukturkostnaderna på lång sikt.
Hur den nya tekniken testades
Teamet genomförde tester på en krets med en memristormatris med en storlek på 180 nanometer. Det rörde sig alltså inte om toppmoderna laboratorieprototyper vid gränsen för vad litografi kan åstadkomma, utan om relativt realistisk hårdvara som är möjlig att föreställa sig i framtida kommersiella tillämpningar.
På denna plattform tränade man neurala nätverk för bildbearbetningsuppgifter, bland annat brusreducering och upplösningsförbättring av foton. Det är typiska användningsområden där både kvalitet och prestanda spelar roll, men där det också är relativt enkelt att jämföra resultaten med vad traditionella processorer och grafikkort åstadkommer.
Resultatet: bildbearbetningskvaliteten låg mycket nära vad standardiserade digitala metoder presterar, med en avsevärt lägre energiförbrukning. Skillnaden begränsar sig alltså inte till en enda parameter utan berör flera områden samtidigt – från elförbrukning och hållbarhet till precision.
Kan stora språkmodeller tränas på samma sätt?
Den hetaste frågan just nu är om detta angreppssätt kan tillämpas på gigantiska språkmodeller, som de LLM-system som används i chatbotar och kodgenereringsverktyg. Projektets författare är försiktiga men optimistiska.
Forskarna hävdar att EaPU-tekniken i princip inte är begränsad till mindre nätverk och bör kunna skalas upp till stora språkmodeller – förutsatt att hårdvaran hänger med vad gäller storlek och precision.
För närvarande begränsas de av det tillgängliga laboratoriet och storleken på de använda kretsarna, men planer finns på tester med betydligt större arkitekturer. Om bara en del av fördelarna kan överföras till modeller med miljarder parametrar kan hela molntjänstbranschen förändra sin energiprofil i grunden.
Inte bara memristorer – en bredare hårdvarurevolution
En intressant del av Zhejiang-teamets slutsatser handlar om metodens universalitet. EaPU-algoritmen bygger på att den känner till den specifika hårdvarans begränsningar och lär sig samarbeta med dem istället för att tvinga fram perfekt precision. Av den anledningen behöver den inte vara exklusivt knuten till memristorer.
Forskarna pekar på att en liknande strategi kan tillämpas på andra icke-klassiska minnes- och transistorteknologier, bland annat:
- Ferroelektriska transistorer,
- Magnetoresistiva minnen,
- Andra typer av icke-flyktigt minne som designats specifikt för AI-tillämpningar.
EaPU kan därför betraktas mer som en designfilosofi för inlärningsalgoritmer anpassade till ofullkomlig analog hårdvara än som ett engångsverktyg för en enda kretsfamilj.
Vad innebär detta för AI-användare och elräkningar?
Ur en vanlig användares perspektiv kan skillnaden verka osynlig. Röstassistenten i smarttelefonen svarar fortfarande på frågor, chatboten i appen genererar fortfarande text. Förändringen handlar om vad som sker bakom kulisserna – det vill säga hur mycket energi och pengar som krävs för att hålla hela infrastrukturen igång.
Företag som satsar på AI-utveckling brottas med stigande kostnader för el, kylning och utbyggnad av datacentraler. Om tekniker som memristorbaserade kretsar med EaPU slår igenom i stor skala kan en del av dessa kostnader minska. Det underlättar för tjänster att hålla prisnivåerna mer tillgängliga, samtidigt som belastningen på elnätet minskar.
Ur miljösynpunkt innebär en så djupgående minskning av elförbrukningen ett mindre koldioxidavtryck. AI kommer inte att försvinna – den enda realistiska vägen framåt är att se till att nästa generation hårdvara och algoritmer arbetar allt mer effektivt.
Varför acceptans av fel ibland faktiskt hjälper
Bakom den här forskningen döljer sig en filosofisk förskjutning. Det klassiska synsättet inom elektronik strävar efter maximal precision och repeterbarhet hos varje enskilt element. I praktiken kan det vara mycket kostsamt, och i den skala som massmarknadens AI kräver är det närmast ohållbart.
Metoder som EaPU utnyttjar det faktum att inlärningsmodeller själva klarar av en viss grad av brus och osäkerhet. Ett neuralt nätverk tål små avvikelser i vikternas värden, och partiella fel behöver inte leda till katastrofala resultat. Om det övergripande utfallet stämmer med förväntningarna kan en lätt "suddighet" i parametrarna accepteras som ett rimligt pris för en radikalt lägre energiförbrukning.
Det påminner på ett sätt om hur biologin fungerar: den mänskliga hjärnan arbetar inte med perfekt precision, neuroner fallerar, signaler förvrängs – och ändå fungerar helheten förvånansvärt stabilt och energieffektivt. En artificiell intelligens som försöker efterlikna den egenskapen kan bli inte bara klokare, utan även väsentligt mer sparsam.
