AI-datahallens svåraste bygge är affären

Den extra elen går bland annat till kylning och elektriska förluster. Däremot ingår inte själva kylutrustningens investering, vattenkostnader eller service i elnotan. Att räkna kylningen både som separat full kostnad och som del av PUE kan annars ge dubbelräkning.

Lönerna ligger på flera nivåer. Datahallens driftpersonal är en kategori, forskare och modellutvecklare en annan. Därutöver behövs säkerhet, försäljning, kundsupport och juridik. Bolagen publicerar inte tillräckligt detaljerade uppgifter för en trovärdig jämförelse av AI-lönekostnaden per svar.

Träning är arbetet med att anpassa modellens parametrar utifrån data. Inferens är användningen av den färdiga modellen. Ekonomiskt liknar träningen produktutveckling, medan inferensen är den löpande produktionen.

Stanforduniversitetets AI Index Report 2024 återgav uppskattningar från Epoch AI där beräkningskostnaden för träningen av GPT-4 var omkring 78 miljoner dollar och för Gemini Ultra omkring 191 miljoner. Det är modellerade uppskattningar, inte leverantörernas fakturor eller fullständiga utvecklingsbudgetar.

Skillnaden spelar roll. Forskarlöner, datainsamling, experiment som misslyckas, säkerhetsarbete och senare förbättringar kan tillkomma. Att en träningskörning uppskattas kosta ett visst belopp säger inte vad hela modellen kostade att utveckla.

Inferensen har i stället en kostnad varje gång tjänsten används. Den påverkas av modellstorlek, textmängd, svarslängd, minnesbehov och hur effektivt flera kunders förfrågningar kan köras tillsammans. Krav på snabba svar kan minska möjligheten att utnyttja maskinerna optimalt.

Det finns därför ingen allmängiltig regel om att träning alltid är dyrast. En modell med få kunder kan domineras av utvecklingskostnaden. En mycket använd tjänst kan över sin livstid lägga mer på inferens.

OpenAI lanserade i juli 2024 GPT-4o mini med API-priser på 0,15 dollar per miljon indatatoken och 0,60 dollar per miljon utdatatoken. Det var försäljningspriser, inte uppgifter om produktionskostnad.

Illustrativ kundkostnad: En miljon anrop, vart och ett med 2 000 indatatoken och 500 utdatatoken, skulle med dessa lanseringspriser kosta 600 dollar. Hälften gäller indata, hälften utdata. Andra tjänster och avgifter är inte medräknade.

Exemplet visar hur billig enkel textbearbetning kan bli. Det visar också varför hög användning inte automatiskt betyder stora intäkter. Leverantören måste sälja mycket, hålla kostnaden ännu lägre eller få kunderna att köpa mer värdefulla funktioner.

Abonnemang: Ett fast månadspris ger förutsägbara intäkter men osäker förbrukning. Lätta användare förbättrar marginalen; mycket aktiva användare försämrar den. Användningsgränser, modellval och separata betalnivåer är därför ekonomiska styrmedel, inte bara produktdesign.

Företagsavtal: Organisationer betalar också för säkerhet, administration, integration och support. Det kan ge högre intäkt än ren tokenförsäljning, men kräver säljorganisation och införandearbete. En demonstrationsvideo är inte samma sak som ett förnyat kontrakt.

Molntjänster: Microsoft, Google och andra kan sälja kapacitet och modelltillgång även när kunden eller en extern modellutvecklare tar produkt­risken. Men molnleverantören behåller risken för överkapacitet och kan behöva erbjuda rabatter eller långa avtal för att fylla anläggningarna.

Annonser: För Meta och Google kan AI ge avkastning genom bättre rekommendationer, annonsurval och annonsproduktion. Kunden behöver inte köpa en separat AI-produkt. Samtidigt går denna förbättring inte att läsa ut som en ren AI-vinst ur koncernboksluten. För en söktjänst måste dessutom dyrare svar vägas mot hur annonsintäkterna påverkas.

Agenter: Betalning för utförda arbetsuppgifter kan ge större intäkt än betalning för text. Men agenten kan behöva många modellkörningar, verktygsanrop och kontroller för att lyckas. Felhantering och mänsklig granskning måste räknas in.

Illustrativ agentkalkyl: Om en uppgift säljs för 20 kronor och kostar 4 kronor i beräkning återstår 16 kronor före övriga kostnader. Kräver vart tionde ärende mänsklig efterkontroll för 100 kronor blir den genomsnittliga granskningskostnaden ytterligare 10 kronor per ärende. Då återstår 6 kronor, inte 16.

Den avgörande enheten är alltså inte alltid token. Det kan vara ett korrekt avslutat kundärende, en godkänd kodändring eller en granskad faktura. För kunden är värdet sparad tid eller bättre resultat. För leverantören är marginalen beroende av hur tillförlitligt detta kan produceras.

Det starkaste argumentet för investeringarna är att billigare beräkning kan öppna betydligt fler användningsområden. En tjänst som var olönsam med en dyr modell kan fungera med en mindre. Befintliga distributionskanaler ger dessutom teknikjättarna möjlighet att nå kunder utan att bygga hela marknaden från början.

Motargumentet är att effektivisering också kan pressa priserna snabbare än kostnaderna sjunker. Om konkurrenterna erbjuder likvärdiga modeller blir det svårt att behålla teknikvinsten. Nyttan för samhället kan vara stor samtidigt som avkastningen för en viss investerare blir svag.

Tre mått är mer avslöjande än antalet installerade chip: marginal efter faktisk inferenskostnad, debiterbar beläggning och kundernas förnyelser när introduktionsrabatter löper ut. För kapitalintensiva ägare behövs dessutom avkastning efter avskrivningar och hänsyn till finansieringen.

En särskild risk uppstår när samma företag investerar i modellutvecklare och säljer datorkraft till dem. Det kan vara rationellt, men omsättning hos kapacitetsleverantören bevisar inte slutkundernas betalningsvilja. Den måste bedömas längre ned i kedjan.

Slutsatsen är därför varken att allt är en bubbla eller att alla investeringar är motiverade. Lönsamma moderbolag kan bära felinvesteringar; privata modellbolag måste snabbare hitta finansiering eller uthålliga marginaler. Vinnaren är inte nödvändigtvis den som tränar den största modellen, utan den som levererar tillräcklig kvalitet till lägst total kostnad – och får kunden att betala mer än så.