En 26 år gammal PC fick liv av modern AI
Medan teknikjättar spenderar tiotusentals dollar på de senaste processorerna valde forskare från Oxford en helt annan väg. De visade att väloptimerad kod kan blåsa nytt liv i hårdvara som de flesta för länge sedan slängde på tippen. Och det gjordes inte som ett skämt – utan som ett tydligt budskap om att AI inte behöver kosta skjortan eller kräva enorma serverhallar.
Pentium II, 128 MB RAM och ett AI-språkmodell
Bakom experimentet står organisationen EXO Labs, grundad av forskare med koppling till Oxfords universitet. Istället för att bygga ett labb fullt av grafikkort tog de fram en dator från slutet av 90-talet: en Pentium II på 350 MHz med 128 MB RAM, körandes under Windows 98.
På den konfigurationen lyckades de starta en lättviktig språkmodell baserad på projektet LLama2.c. Det är i grunden en nedskalad variant av en stor språkmodell – den kan fortfarande generera text, men har betydligt färre parametrar än de molnbaserade lösningar vi är vana vid idag.
Modellen som användes i experimentet hade 260 000 parametrar och nådde en hastighet på ungefär 39,3 tokens per sekund – på en dator från 1998 med bara 128 MB RAM.
En token är ett litet textstycke – ett helt ord eller en del av ett. Det som spelar roll för användaren är att svaret visas flytande på skärmen, inte i takt av några tecken per minut. Med en så lättviktig modell klarar den gamla datorn sig förvånansvärt bra.
Varför modellens storlek spelar stor roll
Forskarna jämförde också vad som skulle hända om man försökte köra en större modell på samma hårdvara – till exempel en med en miljard parametrar, vilket fortfarande är mikroskopiskt litet jämfört med GPT-4. Resultatet? Hastigheten skulle sjunka till ungefär 0,0093 tokens per sekund. Med andra ord skulle man behöva vänta en evighet på ett enda vettigt svar.
Experimentet illustrerar tydligt hur avgörande det är att matcha modellens storlek med hårdvarans kapacitet. Lättviktsmodeller har flera konkreta fördelar:
- Betydligt lägre RAM-förbrukning tack vare färre parametrar
- Möjlighet att köras på äldre eller enklare enheter utan specialiserad hårdvara
- Lägre energiförbrukning, vilket minskar den totala miljöpåverkan
- Snabbare svarstider på begränsad hårdvara jämfört med tyngre modeller
Det här är inte bara ett tekniskt kuriosum. Det är ett konkret bevis på att AI-tillgänglighet inte behöver vara förbehållen dem med de djupaste fickorna – rätt optimering kan göra underverk även med decennier gammal teknik.
