När ett 25 år gammalt Windows 98-system möter modern AI
Medan teknikjättar spenderar tiotusentals dollar på de senaste processorerna valde en grupp forskare att göra precis tvärtom. De visade att väloptimerad kod kan blåsa nytt liv i hårdvara som de flesta för länge sedan slängt på tippen – och det handlade inte om något skämt. Det var ett tydligt budskap: AI behöver inte kräva dyra serverhalllar och massiv strömförbrukning.
Pentium II, 128 MB RAM och en fungerande AI-språkmodell
Bakom experimentet står organisationen EXO Labs, grundad av forskare med koppling till Oxfords universitet. Istället för att bygga ett labb fyllt med grafikkort letade de fram en dator från slutet av 1990-talet – en maskin med en Pentium II 350 MHz-processor och 128 MB RAM, körande Windows 98.
På den konfigurationen lyckades de köra en liten språkmodell baserad på projektet LLama2.c. Det är i grunden en kompakt version av en stor språkmodell – den kan fortfarande generera text, men har betydligt färre parametrar än de populära molnbaserade lösningarna vi känner till idag.
Modellen som användes i experimentet hade 260 000 parametrar och nådde en hastighet på ungefär 39,3 tokens per sekund – på en dator från 1998 med bara 128 MB RAM.
En token är ett litet textstycke – ett helt ord eller en del av ett ord. Det som spelar roll för användaren är att svaret visas flytande på skärmen, inte i takt med några tecken per minut. Med en så lätt modell klarar den gamla datorn sig förvånansvärt bra.
Varför modellens storlek spelar en avgörande roll
Forskarna jämförde resultaten med vad som skulle hända om man försökte köra en större modell på samma hårdvara – exempelvis en med en miljard parametrar, vilket fortfarande är mikroskopiskt litet jämfört med GPT-4. I det fallet skulle hastigheten sjunka till ungefär 0,0093 tokens per sekund. Med andra ord: ett rimligt svar skulle ta en evighet att generera.
Experimentet illustrerar på ett träffande sätt hur avgörande det är att anpassa modellens storlek efter hårdvarans kapacitet. Lätta modeller erbjuder tydliga fördelar:
- Betydligt lägre RAM-förbrukning tack vare det reducerade antalet parametrar
- Möjlighet att köras på gammal och begränsad hårdvara utan behov av moderna grafikkort
- Lägre energiåtgång, vilket gör dem mer hållbara och kostnadseffektiva
Det hela visar att framtidens AI inte nödvändigtvis kräver de senaste och dyraste komponenterna. Med rätt optimering kan även decennier gammal teknik fortfarande göra nytta på ett överraskande sätt.
