Naar de inhoud
Artikelen / eigen-ai-model8 min lezen

Revolut schrapte Claude:wat jij daarvan kunt leren

Revolut verving Claude door een eigen open AI-model. De kosten daalden met zo'n 90%, en de programmeurs werden sneller. Wat een mkb'er daaruit kan halen.

Verschenen
Door
Luuk
Leestijd
8 min lezen
Over
eigen-ai-model · self-hosting

Revolut, de digitale bank met ruim 80 miljoen klanten, heeft Claude bij zijn programmeurs weggehaald. Ze draaien nu gewoon hun eigen open AI-model. De rekening per gebruik is daardoor zo'n 90% lager. En wat ik eigenlijk nog interessanter vind: de programmeurs werken er ook sneller door.

Revolut gaf zijn mensen eerst Claude, met strenge budgetten erop. Als je de hele tijd op de meter let, gebruik je AI dus zuinig, en dan levert het ook weinig op. Met een eigen model betaal je elke maand hetzelfde. Dan durven mensen het ook echt overal voor te gebruiken.

Je hoeft geen bank te zijn om hier iets mee te doen. Ook voor een bedrijf met 10 of 50 mensen zitten er volgens mij een paar lessen in:

  • Een vaste rekening werkt beter dan een meter. Mensen gaan AI pas echt gebruiken als ze niet bang zijn voor de factuur.
  • Het duurste model hoeft niet de standaard te zijn. Voor het meeste werk is een goed open model genoeg.
  • Als je het model zelf draait, gaat je data niet naar Amerika of China.

Wij draaien bij STAIBL ook een eigen AI-model, al begonnen wij er om een andere reden mee. Voor ons ging het vooral om de data van onze klanten, want die moest in Europa blijven. Maar het voordeel waar Revolut nu zo blij mee is, merken wij ook: onze klanten betalen een vaste prijs per maand, hoeveel vragen ze ook stellen. Verderop lees je hoe we dat aanpakken.

01

Wat er bij Revolut gebeurde

Revolut heeft eerst Gemini van Google geprobeerd en is daarna overgestapt op Claude van Anthropic. Omdat ze bang waren voor de kosten, kreeg iedereen een strak budget. "We waren erg sceptisch over de kosten van AI", zei infrastructuurlead David Abitbol op een conferentie1.

Dat viel tegen. Sommige zware gebruikers waren duizenden dollars per maand kwijt aan tokens, maar het team werd er nauwelijks meetbaar sneller van. Sinds april draait de bank daarom GLM, een open model van het Chinese Z.ai, op eigen servers: 56 Nvidia B200-kaarten. Zo'n 2.000 programmeurs werken er nu mee2.

Wat Revolut meldt

per miljoen tokens

$0,30

Zo'n tiende van wat ze eerst betaalden.
sneller programmeren

60%

sneller van idee tot oplevering

70%

tot het eerste woord

1,6 s

Dat was ruim 10 seconden, voor het afstellen.

"De rekening is vlak, we schrikken niet meer aan het eind van de maand, en het topmodel is de uitzondering", zegt Abitbol. Claude en Codex gebruiken ze nog wel, maar alleen voor wat het open model niet kan. Afbeeldingen gaan bijvoorbeeld naar Gemini.

Wel een kanttekening: dit zijn cijfers uit een presentatie, en niemand heeft ze onafhankelijk gecontroleerd. In die $0,30 zitten de servers zelf, het personeel en het bewaken niet. Het ging ook niet vanzelf, want het model presteerde pas goed nadat ze het flink hadden afgesteld.

02

Waarom dit niet alleen over banken gaat

Revolut heeft 56 videokaarten die elk tienduizenden euro's kosten. Dat ga je als mkb'er natuurlijk niet nadoen. Maar de problemen waar Revolut tegenaan liep, heb je eigenlijk bij elk bedrijf dat serieus met AI aan de slag gaat.

Het eerste is de meter. Gebruik je Claude, ChatGPT of Gemini via een API, dan betaal je per woord dat erin en eruit gaat. Dat is een beetje als uit eten gaan en per hap afrekenen: je bestelt voorzichtig. Medewerkers gaan dan minder uitproberen, terwijl je de winst juist daar haalt. Bij Revolut kwam de grootste sprong ook uit de klussen rond het programmeren, zoals mail sorteren en vergaderingen verwerken. Die ga je pas automatiseren als niemand meer tokens telt.

Daarnaast weet je niet wat het volgende maand kost. De leverancier past de prijs of de limiet aan, en je begroting klopt niet meer. TechRadar noemt die onvoorspelbaarheid zelfs een groter probleem dan de hoge prijs.

En je data gaat mee. Alles wat je aan een Amerikaans model vraagt, komt bij een Amerikaans bedrijf terecht. Voor een bank is dat een compliancevraag, maar voor jou ook, zodra er klantgegevens, offertes of personeelszaken in zitten.

Met een eigen model heb je die problemen niet. Je betaalt een vaste prijs per maand en de data blijft op een server die je kent. Dat is ook precies waarom wij bij STAIBL ons eigen AI-model draaien.

Reken het zelf uit

Vanaf wanneer loont een eigen AI-model?

Zet in hoeveel mensen er bij jullie met AI werken en wat dat nu per persoon per maand kost aan abonnementen of API. Waar de lijnen elkaar kruisen, wordt een eigen model goedkoper.

Mensen die met AI werken15
160
Nu per persoon per maand€40
€0€300
Abonnement of APIEigen model
060 mensen
Eigen model loont vanaf
32mensen
Nu per maand€600
Eigen model per maand€1.250

Met 15 mensen ben je nog goedkoper uit met een abonnement of API. Het omslagpunt ligt bij 32.

Twijfel je, of weegt privacy voor jou zwaarder dan de prijs? Dan rekenen we het samen door.

Plan een gesprek

We rekenen met €1.250 per maand voor een eigen model: een GPU-server van rond de €1.000 plus een paar uur beheer. Het is een schatting. Of je gegevens de deur uit mogen, telt bij de keuze net zo zwaar.

03

Wat je eruit kunt halen

Wat ik eruit haal: kies per klus het model dat erbij past, en maak het goedkope model de standaard. In de praktijk komt dat hierop neer.

  1. Zet eerst op een rij waar je AI nu voor gebruikt: mail beantwoorden, samenvatten, offertes, klantvragen, code. Meestal is het grootste deel gewoon routinewerk.
  2. Laat dat routinewerk door een open model doen. Gemma, Qwen, Mistral en GLM kun je vrij downloaden, en voor het meeste dagelijkse werk zijn ze goed genoeg. Test er wel een paar op je eigen taken. Wat in lijstjes van anderen goed scoort, hoeft bij jou niet per se het beste te werken.
  3. Gebruik het topmodel alleen als het moet. Een lastige analyse of code waar veel van afhangt mag best naar Claude of GPT, als je daar bewust voor kiest.
  4. Kies waar het model draait: op een eigen server, of bij een Europese partij die het voor je draait. Bij een open model uit China of Amerika gaat het vooral om die plek. Draait het op een Europese server, dan gaat er niets terug naar de maker.
  5. Reken met de hele rekening. Revolut zegt het zelf al: in die prijs per token zitten de hardware, de stroom en het beheer niet. Zet dus wat je nu per maand kwijt bent naast de vaste prijs van een eigen of gehuurde server, en reken iemand mee die hem bijhoudt.
  6. Reken op afstellen. Bij Revolut was het model uit de doos traag, en pas na het tunen kwam het eerste woord binnen 2 seconden. Dat is eerlijk gezegd het halve werk.
04

Hoe wij het doen

Wij doen eigenlijk hetzelfde als Revolut, alleen op mkb-schaal. En met één extra regel: alles blijft in Europa.

We hebben één eigen server met één videokaart. Daarop draait een open model voor al onze klanttools, zoals de chat op websites, het verwerken van gesprekken en het doorzoeken van documenten. Klanten betalen een vaste prijs per maand, dus of iemand tien vragen stelt of tienduizend, maakt voor de rekening niet uit.

Elke tool die het model gebruikt, is bij ons herkenbaar. Per tool zien we hoe vaak hij het model aanroept en hoe lang hij moet wachten. Zo zien we op tijd dat de server vol begint te raken.

Is de server druk, dan wacht een vraag gewoon even in de rij. We wijken dan niet uit naar een andere dienst. Alleen als hij echt kapot is, neemt een Europese partij het over, en dus nooit een Amerikaanse of Chinese.

Op dat punt gaan we verder dan Revolut, want die bank laat het model ook in de VS en Israël draaien. Voor onze klanten is "verwerking in de EU" een belofte, en die breken we ook niet voor één vraag.

05

Wanneer je het níet moet doen

Een eigen model is niet voor iedereen de slimme keuze. Ik zou bij een abonnement of API blijven als:

  • Je AI maar af en toe gebruikt

    Geef je een paar tientjes per maand uit aan tokens, dan verdien je een server van honderden euro's per maand nooit terug.

  • Je voor bijna alles het allerbeste model nodig hebt

    Open modellen zijn goed, maar voor het zwaarste denkwerk lopen de Amerikaanse topmodellen nog voor. Daarom houdt ook Revolut ze achter de hand.

  • Niemand de server kan bijhouden

    Updates, afstellen en bewaken moet iemand doen, zelf of uitbesteed. Installeren en vergeten werkt hier niet.

  • Je vooral afbeeldingen of video verwerkt

    Daar zijn open modellen nog minder ver in, en ook Revolut stuurt beelden door naar Gemini.

Veelgestelde vragen

Waarom stopte Revolut met Claude?

Vanwege de kosten, en omdat de budgetten het gebruik remden. Met strenge limieten op Claude werden de programmeurs nauwelijks sneller. Met een eigen open model, zonder meter, werkten ze 60% sneller aan code.

Welk model gebruikt Revolut nu?

GLM, een open model van het Chinese bedrijf Z.ai, op eigen servers met 56 Nvidia B200-kaarten. Claude en Codex gebruikt de bank alleen nog als uitzondering.

Is een Chinees open model niet onveilig?

Dat hangt ervan af waar het draait. Een open model dat je op je eigen server zet, stuurt geen gegevens terug naar de maker. Wie de API van de maker zelf gebruikt, stuurt zijn data wel naar die partij.

Kan een mkb-bedrijf hetzelfde doen als Revolut?

Op kleinere schaal wel. Eén server met één goede videokaart is genoeg voor een model van rond de 30 miljard parameters en meerdere tools tegelijk. Je hebt geen 56 kaarten nodig.

Is een eigen AI-model goedkoper dan Claude of ChatGPT?

Als je veel gebruikt wel. De prijs per vraag daalt sterk, maar je betaalt een vaste prijs voor de server en het beheer. Bij weinig gebruik is een abonnement goedkoper.

Moet ik dan helemaal stoppen met Claude of ChatGPT?

Nee, Revolut gebruikt ze ook nog voor het zwaarste werk. Alleen is het eigen model daar de standaard en het dure model de uitzondering.

Liever niet zelf bouwen?

Revolut heeft een eigen infrastructuurteam, en dat heb jij waarschijnlijk niet. Met Eigenwijs draaien wij een eigen AI-model voor je op een Europese server. Je betaalt een vaste prijs per maand en je data blijft in de EU.

Bespreek wat een eigen AI voor jouw bedrijf kan doen.

Bronnen
  1. 1TechRadar · techradar.com
  2. 2StartupHub · startuphub.ai