Modelltester
Når de store leverandørene lanserer nye modeller, tester vi dem på tre faste produksjonsoppgaver: en 3D-flytur over NMBU, en analyse av Oljefondet og en reklamefilm. Alle modellene får det samme utgangspunktet, så resultatene kan sammenlignes over tid.
Andres målinger Arena har målt alle 6 modellene vi har testet, og Epoch AI 5 av dem. Se hva de sier.
Først: hvordan
En modell som skriver gode svar i et chatvindu, er ikke nødvendigvis god til å gjøre ferdig et helt arbeid. Derfor gir vi modellene større oppgaver av den typen en underviser eller student faktisk kunne bestilt, og ser på hva som kommer ut.
Det vi tilfører
Internasjonale målinger er nyttige, men de måler noe annet enn det vi tester. Oppgaveteksten, materialet og leveransen er norsk hos oss, og det er det ferdige arbeidet som vurderes.
| Hva | Internasjonale målinger, typisk | Våre tester |
|---|---|---|
| Språk | Stort sett engelsk. | Norsk oppgavetekst og norsk materiale, og modellen skal skrive på norsk bokmål. |
| Oppgaven | Avgrensede spørsmål med fasit, som flervalgsspørsmålene i GPQA Diamond, eller kodeoppgaver fra GitHub, som i SWE-bench Verified. | En hel produksjonsoppgave: en 3D-opplevelse, en interaktiv rapport eller en film med lysbilder. |
| Vurderingen | Automatisk mot fasit, eller brukerstemmer: i Arena velger brukere det beste av to anonyme svar. | Et menneske åpner og bruker leveransen, regner nøkkeltallene på nytt og sjekker hvert punkt i oppgaven. |
| Resultatet | Et poengtall eller en plass på en rangering. | Fire karakterer, en egen karakter for ærlighet, og faktisk tid, antall steg og kostnad hos leverandøren. |
Hver modell får den samme oppgaveteksten, det samme materialet og de samme grensene: 30 minutter og 200 steg per oppgave.
Modellen arbeider i en egen beholder uten nett og uten tilgang til våre systemer. Den kan kjøre kode, ta skjermbilder, rendre video og lage presentasjoner.
Kjøringen er automatisk fra start til slutt. Vi logger tid, antall steg og faktisk kostnad hos leverandøren.
Vi ser gjennom hver leveranse før den publiseres, og vurderer om den fungerer, følger oppgaven, holder god kvalitet og hvor mye etterarbeid den trenger.
Oppgavene
Oppgavene er de samme i hver runde, så en ny modell kan sammenlignes med dem som er testet før.
En interaktiv 3D-flytur over Storplenen, Urbygningen og Tårnbygningen i Ås, bygget med PlayCanvas.
En interaktiv analyse av fondets portefølje per 30. juni 2026, bygget på NBIMs originaldata.
En ferdig film med norsk tale og undertekster om Virtual AI Corps studentinnhold, pluss tre lysbilder som presenterer nettstedet for en student.
Vurderingen
Vi leser hele leveransen, regner nøkkeltallene på nytt, åpner resultatet som en bruker og sjekker hvert punkt i oppgaven. En feil trekkes bare der den hører mest hjemme. Hver modell får ett forsøk per oppgave.
Fire karakterer fra 1 til 5. Snittet av dem er tallet du ser i sammenligningen.
Starter leveransen, og virker den slik den lover? 5 er alt virker uten feil, 1 er at den ikke starter.
Er alt som ble bestilt, levert innenfor rammene? Oppdiktede tall, fakta eller kilder gir høyst 2.
Faglig, visuelt og kreativt nivå. 5 betyr at den kunne vært vist for studenter slik den er.
Hvor mye vi måtte gjort før vi kunne brukt den. 5 er ingenting, 1 er at den må gjøres om.
Sammenligning
Lav listepris er ikke det samme som lav regning. Gemini 3.8 Flash har lavest listepris av modellene, men brukte flest tokens av dem i kjøreren (18,1 millioner inn) og ble den dyreste av dem som leverte alle tre oppgavene (14,44 USD).
| Modell | Droneflyging over NMBU | Oljefondet som læringsressurs | 30 sekunders reklamefilm | Snitt | Kostnad |
|---|---|---|---|---|---|
| GPT-6.1 SolOpenAI | 4,75ærlighet 5 | 4,75ærlighet 5 | 4,75ærlighet 5 | 4,75 | 2,42 USD |
| Claude Opus 5.5Anthropic | 4,75ærlighet 5 | 4,75ærlighet 5 | 4,75ærlighet 5 | 4,75 | 5,39 USD |
| GPT-6 SolOpenAI | 4,75ærlighet 5 | 4,75ærlighet 5 | 4,75ærlighet 5 | 4,75 | 12,96 USD |
| Claude Sonnet 5.5Anthropic | 4,0ærlighet 4 | 4,75ærlighet 5 | 4,75ærlighet 5 | 4,5 | 3,67 USD |
| Gemini 3.8 FlashGoogle | 4,25ærlighet 4 | 4,0ærlighet 3 | 3,0ærlighet 2 | 3,75 | 14,44 USD |
| Gemini 3.1 ProGoogle | 2,75ærlighet 4 | 3,25ærlighet 4 | 3,0ærlighet 3 | 3,0 | 1,53 USD |
| Mistral Medium 3.5Mistral AI | 1,5ærlighet 2 | 2,25ærlighet 2 | Leverte ikke innenfor budsjettrammen (23 USD)* | 1,88 (2 av 3) | 11,93 USDfor de to leverte |
| Manuell prøve i leverandørens egen app | |||||
| Claude Fable 5.1Anthropic · manuell prøve (Claude Code på Macen, Fable 5.1 (High)) | 4,75ærlighet 5 | 4,5ærlighet 5 | 4,5ærlighet 4 | 4,58 | ≈ 44,90 USDanslag, betalt via abonnement |
* Leverte ikke innenfor budsjettrammen (23 USD): Avbrutt 28.09.2026 etter 8,5 minutter uten leveranse: modellens samlede budsjettramme på 23 USD for de tre oppgavene var brukt opp. Snittet for Mistral Medium 3.5 gjelder derfor bare to oppgaver.
Manuelle prøver i leverandørenes egne apper har andre verktøy og ingen fast tidsgrense, og står derfor på egen rad. Kostnad med ≈ er et anslag: hva tokenforbruket i økta ville kostet til leverandørens listepris. Prøvene er betalt via abonnement.
Høyt oppe er bedre, langt til venstre er billigere. Kostnaden er gjennomsnittet per levert oppgave. Den hule prikken er en manuell prøve med anslått kostnad.
Resultatene
Hvert resultat har et bilde av leveransen, karakterene og det vi syntes var best og svakest. Åpne et resultat for å se hele leveransen, kontrollrapporten og hele vurderingen.
Oppgave 1 av 3 · 8 resultater
En interaktiv 3D-flytur over Storplenen, Urbygningen og Tårnbygningen i Ås, bygget med PlayCanvas.
4,75 av 5
Best Den mest detaljerte dronen i testen: Urbygningen med rundbuede vinduer, gavlfelt og dobbel hovedtrapp ned mot speildammen, Tårnbygningen med grønn lanterne, og en stripet plen med trær, benker og lyktestolper.
Svakest Ingen berøringskontroller for fri flyging på mobil (oppgitt i README).
4,75 av 5
Best Den mest gjenkjennelige dronen: buede vinduer og bred hovedtrapp på Urbygningen, lanternen midt på Tårnbygningen, viftebed, Speildammen og senket plen, med navneskilt på stedene.
Svakest Ingen berøringskontroller for mobil.
4,75 av 5
Best Tydelig gjenkjennelige bygninger: Urbygningens gavler, runde vinduer og takvinduer, og Tårnbygningen med lanternen midt på.
Svakest Ingen berøringskontroller, så den virker ikke på mobil.
4,25 av 5
Best Gjenkjennelige bygninger: Tårnbygningen med lanternen midt på, Urbygningen med klokke og gavler, og viftebedene på Storeplenen.
Svakest Kontrollrapporten kaller bygningene «nøyaktig modellert» og sier at «samtlige krav» er oppfylt, før den lenger ned kaller det en stilisert rekonstruksjon.
4,0 av 5
Best Gjenkjennelig campus: Urbygningen med gavlrisalitter og takvinduer, Tårnbygningen med grønn lanterne og spir, senket plen med ringsti, viftebed og Speildammen, pluss minikart og stedsnavn.
Svakest Knappen «Start kameratur» gjør ingenting: den har to klikklyttere, der den ene starter turen og den andre stopper den straks. Det samme gjelder «Kjør kameraturen på nytt». Turen kan bare startes med T.
2,75 av 5
Best Starter uten konsollfeil; flyging, høydesperre, nullstilling og kameratur virker; 60 fps på Macen.
Svakest Bygningene er vindusløse klosser, og stedene er vanskelige å kjenne igjen.
1,5 av 5
Best Starter uten konsollfeil med motoren kopiert fra startprosjektet.
Svakest Bygningene er klosser med kraftige skyggefeil, og stedene kan ikke kjennes igjen.
4,75 av 5
Best Gjenkjennelige bygninger: paviljonggavlene, urgavlen og portalen på Urbygningen, og lanternen midt på Tårnbygningen. Stedene står på riktig plass fordi Kartverket-kartet er georeferert.
Svakest Hovedtrappen står løst i gresset langt foran fasaden, og terrassen foran Urbygningen er gress.
Oppgave 2 av 3 · 8 resultater
En interaktiv analyse av fondets portefølje per 30. juni 2026, bygget på NBIMs originaldata.
4,75 av 5
Best Alle nøkkeltall stemmer ved etterregning: aksjer 16 435,35 og renter 6 087,66 mrd. kr, USA 54,47 %, teknologi 32,09 %, tre største sektorer 60,68 %, topp 10 20,88 %, topp 100 47,84 %, NVIDIA 3,72 %, HHI 65,14 og effektivt antall 153,5; eiendom og infrastruktur med én landtotal per land (371,2 og 83,4 mrd.).
Svakest Landnavn står på engelsk (NBIMs), sektornavn er oversatt.
4,75 av 5
Best Alle nøkkeltall stemmer ved etterregning fra NBIM-filene: aksjer 16 435,3 og renter 6 087,7 mrd. kr, USA 54,5 %, teknologi 32,1 %, ti største 20,9 %, 115 selskaper for halve verdien, effektivt antall 154, amerikansk teknologi 22,9 % og 538 selskaper med annet registreringsland.
Svakest Siden ruller sideveis på mobil (577 px innhold i 375 px bredde); modellen oppgir selv at mobil ikke er testet.
4,75 av 5
Best Alle filsummer stemmer med kontrolltallene, og avstemmingen mot både tabell 1 og balansen viser hvert avvik (+77, +228 og −21 mrd.) uten å tvinge dem til å stemme.
Svakest Landnavnene står på engelsk, mens sektorene er oversatt.
4,75 av 5
Best Alle nøkkeltall stemmer, og avstemmingen viser hvert avvik mot tabell 1 og balansen (aksjer +77,35 og renter +227,66 mrd.) uten å tvinge dem sammen.
Svakest Sektor- og landnavn står på engelsk.
4,0 av 5
Best Alle nøkkeltall stemmer (aksjer 16 435,3 mrd., topp 10 20,88 %, teknologi 32,09 %), og avstemmingen dekker alle fire aktivaklasser mot både tabell 1 og balansen.
Svakest Tar inn et faktum som ikke står i pakken (strategisk aksjeandel på om lag 70 prosent).
3,25 av 5
Best Alle nøkkeltall stemmer ved etterregning (aksjer 16 435 mrd., USA 54,5 %, teknologi 32,1 %, eiendom og infrastruktur mot balansen).
Svakest Kildekoden for databehandlingen ligger utenfor leveransen, og det finnes ingen egen metodebeskrivelse.
2,25 av 5
Best Tallene som står i teksten, stemmer: USA 54,47 %, teknologi 32,09 % og topp 10 på 20,88 %.
Svakest Ingen av grafene tegnes, fordi Chart.js-filen er feil variant for måten den lastes på.
4,5 av 5
Best Alle nøkkeltall og rapporttall stemmer ved etterregning (aksjer 16 435 mrd. mot 16 358 i tabell 1 og 16 505 i note 5.1; USA 54,5 %, teknologi 32,1 %, topp 10 20,9 %, 115 selskaper for halve verdien; sektoravvik under 0,2 pp mot tabell 5).
Svakest Innledningen sier som fakta at filene utelater kontanter, derivater og uoppgjorte handler, noe pakken sier ikke er dokumentert og modellen ellers kaller tolkning.
Oppgave 3 av 3 · 7 resultater
En ferdig film med norsk tale og undertekster om Virtual AI Corps studentinnhold, pluss tre lysbilder som presenterer nettstedet for en student.
4,75 av 5
Best Sterk krok: «Hvem vil du spørre først?» med en kollegagraf som vokser fram fra første bilde, deretter kontoret, «Still spørsmål. Vurder svarene. Ta en beslutning.» og en sluttplakat med adressen som står i over seks sekunder.
Svakest Adressen vises, men leses ikke opp.
4,75 av 5
Best Teknisk eksakt: H.264 High + AAC, 1920 × 1080, 900 bilder = 30,000 s, −17,1 LUFS og true peak −4,2 dBTP; undertekstene starter innenfor 0,02 s av talen (målt med silencedetect).
Svakest Manuset er 52 ord, litt under «ca. 55–70».
4,75 av 5
Best Hver påstand i manuset er ført tilbake til punktet i den godkjente briefen, og oppfordringen er nøyaktig «Prøv en simulering – uten konto og uten kode».
Svakest Talen er ferdig på 24,9 s, så sluttplakaten står stille i fem sekunder uten lyd.
4,75 av 5
Best Manuset holder seg strengt til den godkjente briefen og ender med «Prøv en simulering uten konto» og adressen på skjermen.
Svakest Undertekstene ligger tett oppå bunnlinjen med «Virtual AI Corp / Simuleringer» i noen scener.
3,0 av 5
Best Manuset holder seg til den godkjente briefen (64 ord) og ender med «Prøv en simulering på virtualaicorp.no/forhandsvisning».
Svakest Feil oppløsning: 1280 × 720.
3,0 av 5
Best Teknisk eksakt: 900 bilder = 30,000 s, H.264 High + AAC, 1920 × 1080; talen (24,2 s) får plass, og undertekstene følger den innenfor 0,1 s.
Svakest Oppdiktet sakinnhold: tre «kollegaens innspill» i scene 1 (budsjett overskredet, dataavvik, tidsfrist) og roller og holdninger på lysbilde 2 står ikke i pakken; saken i studentvideoen er en annen.
4,5 av 5
Best Faktatro: hver påstand er ført tilbake til studentbriefen, og oppfordringen «Prøv en simulering» og adressen virtualaicorp.no/forhandsvisning er de godkjente.
Svakest Serifskriften mister tverrstreken i H og A: kroken leses «I lvem ville du spurt?» og ordmerket «Virtual Λ/ Corp».
ikke vurdert
Leverte ikke innenfor budsjettrammen (23 USD)
Avbrutt 28.09.2026 etter 8,5 minutter uten leveranse: modellens samlede budsjettramme på 23 USD for de tre oppgavene var brukt opp.
Andres målinger
Våre egne tester viser hvordan modellene løser tre konkrete oppgaver. Her er hva uavhengige, internasjonale målinger sier om de samme modellene. Tallene er målt av andre, med andre oppgaver og innstillinger, og er ikke kontrollert av oss.
Internasjonale målinger av modellene vi har testet, med leverandørenes listepriser til slutt. Høyeste verdi blant våre modeller er uthevet.
| Modell | Arena tekstArena · 02.10.2026 | Arena kodeArena · 02.10.2026 | Arena agentArena · 02.10.2026 | ECIEpoch AI · 04.10.2026 | ListeprisUSD per 1M tokens, inn / ut |
|---|---|---|---|---|---|
| Claude Opus 5.5Anthropic | 1 504high · 4 552 stemmer | 1 815max · 2 062 stemmer | 0,138high · 5 359 økter | 167,3 | 4 / 20 |
| GPT-6 SolOpenAI | 1 457max · 8 787 stemmer | 1 689max · 3 411 stemmer | 0,097max · 6 106 økter | ikke målt | 2 / 10 |
| Claude Fable 5.1Anthropic | 1 501max · 11 800 stemmer | 1 749max · 6 318 stemmer | 0,143max · 15 130 økter | 164,8 | 10 / 50 |
| Gemini 3.8 FlashGoogle | 1 495high · 26 298 stemmer | 1 583high · 8 524 stemmer | 0,030high · 34 396 økter | 156,9 | 0,75 / 3,75 |
| Gemini 3.1 ProGoogle | 1 487121 806 stemmer | 1 44624 347 stemmer | −0,07786 483 økter | 154,8 | 2 / 12 |
| Mistral Medium 3.5Mistral AI | 1 42711 757 stemmer | 1 2632 322 stemmer | −0,12411 156 økter | 141,4 | 1,65 / 8,25 |
Høyere er bedre i alle målingene, og for listeprisene er lavere bedre. Varianten modellen ble målt med står under tallet, fordi kildene ofte måler et annet resonneringsnivå enn vi bruker selv («high»). Arena-poeng med få stemmer er usikre.
Sist oppdatert: Epoch AI 04.10.2026 · Arena 02.10.2026. Kilder: Epoch AI (CC BY 4.0, hentet 4. oktober 2026); Arena (LMArena) (CC BY 4.0, hentet 4. oktober 2026). Utvalgt og avrundet av oss.
Tabellen viser hvordan modellene står seg utenfor våre tre oppgaver. Arena bygger på brukerstemmer, og Epoch AI samler mange prøver med fasit i én indeks.
Målingene er gjort med andre oppgaver, på engelsk og ofte med et annet resonneringsnivå enn vi bruker. Bruk dem sammen med våre resultater, ikke i stedet for dem.
Alle internasjonale målingerModellene
Modellene kjøres gjennom leverandørenes egne API-er. Testene inneholder bare offentlig materiale og ingen opplysninger om studenter eller brukere av verktøyet. Tabellen viser hvor hver leverandør behandler det som sendes. Flere modeller legges til etter hvert som de er testet.
| Modell | Leverandør | ListeprisUSD per 1M tokens, inn / ut | Hvor data behandles |
|---|---|---|---|
| Claude Fable 5.1 | Anthropic | 10 / 50 | USA (Anthropic). Krever 30 dagers lagring hos leverandøren. |
| Claude Opus 5.5 | Anthropic | 4 / 20 | USA (Anthropic). |
| Gemini 3.1 Pro (forhåndsversjon) | 2 / 12 | Google (ingen EU-region i Developer API). Misbrukslogger i 55 dager. Betalt nøkkel kreves i EØS. | |
| Mistral Medium 3.5 | Mistral AI | 1,65 / 8,25EU-endepunktet, 10 % dyrere | EU EU (Mistral AI, Frankrike), via EU-endepunktet. |
| Claude Sonnet 5.5 | Anthropic | 2 / 10 | USA (Anthropic). |
| GPT-6.1 Sol | OpenAI | 2 / 10 | USA (OpenAI). Misbrukslogger i 30 dager. Ingenting lagres i API-et (store: false). |
| GPT-6 Sol | OpenAI | 2 / 10 | USA (OpenAI). Misbrukslogger i 30 dager. Ingenting lagres i API-et (store: false). |
| Gemini 3.8 Flash | 0,75 / 3,75introduksjonspris til 31.12.2026 | Google (ingen EU-region i Developer API). Misbrukslogger i 55 dager. Betalt nøkkel kreves i EØS. |
Sikkerhet
Modellene får ingen innlogging og ingen nøkler. Kallene til leverandørene og talegenereringen gjøres av kjøresystemet vårt utenfor modellens arbeidsmiljø. Leveransene vises fra lagringstjenestens egen adresse i en avgrenset ramme, ikke fra virtualaicorp.no, slik at koden modellene har skrevet aldri kjører side om side med innloggingen vår.
