Stop Gissen Hoeveel Geheugen Je AI Nodig Heeft

Je AI-assistenten kosten je te veel. Elke vraag van een gebruiker, elke regel code van je coderingsbot, kost je rekenkracht en geheugen.

Je weet dat je een cache nodig hebt - een snelle geheugengebied dat eerder uitgevoerd werk opslaat - om dingen te versnellen. Maar het bepalen van hoeveel geheugen je moet kopen is een complete gok.

Koop te weinig geheugen, en de AI werkt langzaam. Het verspilt dure rekenkracht door werk opnieuw te doen dat het net heeft gedaan. Koop te veel, en je betaalt voor dure hardware die gewoon ongebruikt blijft.

Dit is geen klein probleem. Het is het verschil tussen een winstgevende AI-service en een die geld verliest.

Wat Onderzoekers Ontdekt Hebben

Een team van onderzoekers heeft een tool gebouwd die het gokken beëindigt. Ze hebben ontdekt hoe ze de exacte hoeveelheid geheugen kunnen berekenen die je nodig hebt om je AI snel en goedkoop te laten werken.

Je kunt hun volledige paper hier lezen: The KV Cache Working Set: Online Capacity Planning for LLM Inference Systems.

Hier is wat ze gevonden hebben, in gewone taal.

Je hoeft niet alles op te slaan. Denk eraan als een bibliotheek. Je hoeft niet elk boek dat je ooit hebt gelezen op je bureau te hebben. Je hebt alleen de paar boeken nodig die je op dit moment gebruikt. De rest kan op de plank blijven. Hetzelfde geldt voor het "geheugen" van je AI. Een kleine, hete set van recente gegevens verwerkt de meeste verzoeken. Je kunt 95% van het snelheidsvoordeel krijgen met een cache die 5 keer kleiner is dan je denkt dat je nodig hebt.

Prestatieverbeteringen hebben een plafond. Het toevoegen van meer geheugen helpt, maar alleen tot een bepaald punt. Het is alsof je meer monitoren op je bureau toevoegt. Een tweede monitor is een enorme boost. Een tiende monitor doet bijna niets. De tool van de onderzoekers vindt dat "zoete plek" waar het uitgeven van meer geld je bijna geen extra snelheid oplevert.

Je kunt de perfecte grootte automatisch voorspellen. Hun tool, genaamd KVSET, analyseert echte gebruikersverzoeken. Het vertelt je de ideale cache-grootte onmiddellijk. Geen langzame, dure handmatige tests meer. Voor een coderingsagent vonden ze dat het geheugen dat nodig was voor "goed genoeg" prestaties (95% dekking) 5 keer minder was dan voor "bijna perfect" (99% dekking). Dit laat je een zakelijke beslissing nemen: "Is die laatste 4% snelheidswinst de moeite waard om 5 keer de kosten te betalen?"

Hoe Je Dit Vandaag Kunt Toepassen

Je hoeft niet te wachten. Je kunt deze ideeën nu gebruiken om kosten te besparen en slimmer te plannen.

Hier zijn vier concrete stappen die je deze week kunt nemen.

1. Analyseer Je Huidige AI-Verkeerslogs. De eerste stap is begrijpen wat je je AI eigenlijk laat doen. Exporteer de logs van gebruikersprompts en AI-antwoorden van de afgelopen week. Zoek naar patronen: Vragen gebruikers naar dezelfde onderwerpen? Hergebruiken coderingsverzoeken dezelfde bestanden? Deze gegevens zijn de brandstof voor de volgende stappen.

• Voorbeeld: Als je een klantenservicebot runt, exporteer een CSV van alle klantvragen van de afgelopen 7 dagen. Zoek naar herhalingen.
• Tool om te gebruiken: Eenvoudige log-export van je AI-platform (zoals OpenAI, Anthropic of vLLM) of je applicatie-backend.

2. Gebruik KVSET Om Je Geheugensweet Spot Te Vinden. Download de open-source KVSET-tool van de repository van het onderzoeksrapport. Voer je loggegevens in. Het zal de patronen analyseren en je vertellen over de minimale cache-grootte die nodig is om prestatiedoelen te bereiken zoals 90%, 95% of 99% "hit-ratio's". Dit nummer is je nieuwe benchmark.

• Voorbeeld: KVSET kan je vertellen dat voor je chatbot een cache van 2 GB een hit-ratio van 95% oplevert, maar om 99% te bereiken, je 10 GB nodig hebt. Nu heb je een duidelijke kosten-batenkeuze.
• Vereiste: Je engineersteam heeft basis-Python-vaardigheden nodig om de tool te gebruiken.

3. Ontwerp Een Twee-Lagen Opslagstrategie. Stop met proberen alles in het duurste geheugen (zoals GPU-RAM) te passen. Gebruik KVSET's output om een slimmere systeem te ontwerpen. Plaats de kleine, "hete" dataset die het identificeert in snelle, dure cache. Plaats alles anders in een grotere, langzamere, goedkopere laag (zoals reguliere server-RAM of zelfs snelle schijf).

• Voorbeeld: Voor een team van 50 ontwikkelaars dat een coderingsassistent gebruikt, kun je 500 GB snelle GPU-cache voor actieve bestanden en 2 TB langzamere SSD-opslag voor de complete projectgeschiedenis inrichten.
• Hoe te implementeren: Configureer je AI-servicessysteem (zoals vLLM of SGLang) om een hiërarchische cache te gebruiken.

4. Maak Cache-Grootte Een Zakelijke Metriek, Niet Een Tech-Gok. Breng de nummers die KVSET je geeft naar je planningsvergaderingen. Formuleer beslissingen in zakelijke termen: "We kunnen onze gebruikerscapaciteit verdubbelen voor dezelfde kosten als we een hit-ratio van 95% accepteren in plaats van 99%". Dit verandert infrastructuur van een black-boxkostencentrum in een hefboom die je kunt gebruiken.

• Voorbeeld: Presenteer aan het leiderschap: "Onze analyse toont aan dat het veranderen van een prestatiedoel van 99% naar 95% onze maandelijkse geheugenkosten van $50k naar $10k verlaagt, met een verwaarloosbare impact op wachttijden voor gebruikers."

Waar Je Op Moet Letten

Deze aanpak is krachtig, maar het is geen magie. Houd deze beperkingen in gedachten.

Het werkt met gewone, maar niet alle, systemen. De KVSET-tool modelleren caches die het "Least Recently Used" (LRU) verwijderingsbeleid gebruiken. Dit is zeer gewoon, maar als je systeem een andere methode gebruikt, kunnen de voorspellingen minder nauwkeurig zijn.

Het is voor planning, niet voor real-time controle. KVSET is een analyse- en voorspellingsgereedschap. Het vertelt je hoeveel cache je zou moeten hebben. Het past je cache-grootte niet automatisch live aan als het verkeer verandert. Jij of je team zou de automatisering moeten bouwen op basis van zijn aanbevelingen.

Het richt zich op de meest gangbare AI-modellen van vandaag. Het onderzoek analyseerde de standaard "Transformer"-architectuur die door de meeste modellen wordt gebruikt. Nieuwere, efficiëntere modeltypen (zoals Mamba) werken anders. Als je die overneemt, moet je je analyse opnieuw uitvoeren.

Je Volgende Zet

Deze week, begin met stap één. Exporteer een week waard aan logs van je duurste AI-service. Bekijk wat de conversatiepatronen eruit zien.

Die enkele actie verplaatst je van gissen naar meten. Het is de basis voor elke kostenbesparende beslissing die volgt.

Ben je al bezig met het bijhouden van hoe vaak je AI werk herhaalt? Wat is één kostenpost die je zou kunnen verminderen als je de exacte juiste grootte voor je systemen wist?