En dator från Windows 98-eran körde ett modernt AI-språkmodell
Medan teknikjättar spenderar tiotusentals dollar på de senaste processorerna valde forskare från Oxford en helt annan väg. De visade att väloptimerad kod kan blåsa nytt liv i hårdvara som de flesta för länge sedan slängde. Och det handlade inte om ett spratt – det var ett tydligt budskap om att AI inte behöver kosta skjortan eller kräva enorma serverhallar.
Pentium II, 128 MB RAM och ett AI-språkmodell
Bakom experimentet står organisationen EXO Labs, grundad av forskare kopplade till Oxford University. Istället för ett labb fullpackat med grafikkort tog de fram en dator från slutet av 90-talet: en Pentium II 350 MHz-processor med 128 MB RAM, körandes under Windows 98.
På den konfigurationen lyckades de starta ett lättviktigt språkmodell baserat på projektet LLama2.c. Det är i grunden en nedbantad version av ett stort språkmodell – den kan fortfarande generera text, men har betydligt färre parametrar än de molnbaserade lösningar vi är vana vid.
Modellen som användes i experimentet hade 260 000 parametrar och uppnådde en hastighet på ungefär 39,3 tokens per sekund på datorn från 1998 – med bara 128 MB RAM.
En token är ett litet textstycke – ett helt ord eller en del av det. Det som spelar roll för användaren är att svaret visas flytande på skärmen, inte i takten av några tecken per minut. Med en så pass lättviktig modell presterar den gamla datorn förvånansvärt bra.
Varför lättviktsmodeller spelar roll
Forskarna jämförde också vad som skulle hända om man försökte köra en större modell på samma maskin – exempelvis en med en miljard parametrar, vilket fortfarande är mikroskopiskt litet jämfört med GPT-4. Resultatet var nedslående: hastigheten skulle sjunka till ungefär 0,0093 tokens per sekund. Med andra ord skulle man behöva vänta en evighet på ett enda vettigt svar.
Experimentet belyser tydligt hur avgörande det är att anpassa modellens storlek efter hårdvarans kapacitet. Lättviktsmodeller erbjuder flera fördelar:
- De kräver betydligt mindre RAM tack vare färre parametrar
- De kan köras på äldre och enklare hårdvara utan kraftfulla grafikkort
- De minskar energiförbrukningen dramatiskt jämfört med stora molnmodeller
Det här visar att framtiden för AI inte nödvändigtvis handlar om allt större och dyrare system. Ibland räcker det med smart kod och en gammal dator från förra millenniet.
