Model tests · The Oil Fund as a learning resource
Claude Fable 5.1
Anthropic · tested 28 September 2026 · delivered
Manual test in Claude Code on the Mac, Fable 5.1 (High), not in our closed runner. The model had different tools and no fixed time limit, so the result cannot be compared directly with the runs.
The delivery runs as the model made it. Open in a new window.
Our assessment
Our assessments were written in Norwegian; this is our English translation. Quotations from the deliveries are kept in the original Norwegian, with a translation in brackets.
- Does it work?
- 5
- Does it follow the task?
- 4
- Academic or creative quality
- 5
- Little follow-up work
- 4
- Average
- 4.5
- Honesty (not in the average)
- 5
The most thoroughly worked Oil Fund delivery so far. All figures hold up when recalculated, and the reconciliation against the report is thorough and honest, with 13 visible charts, a consistency check and visual self-checking in 22 minutes. The deduction is for one introductory sentence that states an interpretation as fact, and one sentence of general knowledge.
Strengths
- All key figures and report figures are correct when recalculated (equities NOK 16,435 billion against 16,358 in Table 1 and 16,505 in Note 5.1; USA 54.5%, technology 32.1%, top 10 20.9%, 115 companies for half the value; sector discrepancies under 0.2 pp against Table 5).
- The most thorough reconciliation in the test: the files are checked against Table 1, Notes 5.1/5.2, the balance sheet, Tables 7/9 and 9.1, without forcing the discrepancies to agree, and the interpretation is labelled.
- 13 visible charts in hand-written SVG with denominators in the tooltips, a filterable table with CSV download and a consistency check in the browser; no console errors and no outgoing requests.
- Returns are taken from NBIM's monthly file and recalculated against Table 2, with the period stated; the model checked its work visually and interactively with Playwright.
Weaknesses
- The introduction states as fact that the files leave out cash, derivatives and unsettled trades, which the package says is not documented and which the model elsewhere calls an interpretation.
- One sentence of general knowledge (“ASML eller Nestlé selger globalt” – “ASML or Nestlé sell globally”) despite the instruction not to use sources beyond the task.
- Country names are left in English, and the chart text becomes very small on mobile.
- Minor errors: June 0.54 instead of 0.53% (double rounding), infrastructure called “lik balanselinjen” (“equal to the balance sheet line”) although it is 33 million below, and the wrong number of charts and screenshots in the README.
Assessed 28 September 2026. One attempt per task.
The run
| Model ID | claude-fable-5-1 |
|---|---|
| Settings | environment: Claude Code on the Mac, Fable 5.1 (High) |
| Environment | Claude Code on the Mac, Fable 5.1 (High) |
| Time | 22 min 0 s |
| Tokens | 6,000,477 in · 90,275 out |
| Cost at the provider | ≈ USD 14.01 (estimate at list price from the session log; paid through a subscription) |
| Ended | Delivered |
| Where data was processed | USA (Anthropic). Requires 30 days of retention by the provider. |
| Human help | None |
The model's own check report
The text was written by the model in Norwegian and is reproduced unchanged, without translation.
# Kontrollrapport
## Hva som fungerer (prøvd)
- `kilde/beregn.py` kjører fra de uendrede originalfilene og skriver `data/` (JSON, JS og seks CSV-filer).
CSV og xlsx er kontrollert like i rader og beløp for alle fire filer.
- `index.html` åpnet i Chromium (Playwright 1.63, headless) fra `file://`: **ingen konsollfeil**.
Fullsides skjermbilder ved 1440 px er sett gjennom seksjon for seksjon. Layout kontrollert ved 390 px
(ingen horisontal rulling).
- Ni grafer renderer (aktivafordeling hele fondet, land, region, sektor, 20 største, konsentrasjonskurve,
obligasjonstype, utstederland, eiendom per land og sektor, infrastruktur per land, månedlig og årlig
avkastning). Verktøytips ved hover/klikk viser verdi, andel, nevner og forklaring – kontrollert med
`kontroll/interaksjon.js` for stolpe, smultring, landgraf og konsentrasjonskurve.
- Aksjetabellen: søk (navn/registreringsland), filtre for land, sektor og region, sortering på seks
kolonner begge veier, «vis flere» (100 → 300 rader), nedlasting av utvalget som CSV, og sammendrag med to
nevnere. Testet: Sveits + Helse gir 13 selskaper, 185,2 mrd. kr, 1,13 % av aksjefilen; søk «equinor» og
«zzzzqq» gir tom-melding med aktive filtre oppgitt; sortering på eierandel og navn kontrollert.
- Konsistenssjekk i nettleseren: sektor- og landsummer aggregert fra tabellradene er identiske med
`beregn.py` (grønn melding over tabellen).
- Avstemming mot rapporten:
- sektorandeler fra filen avviker < 0,2 pp fra tabell 5; beløp 0,2–1,4 % under note 5.1;
- eiendomsfilen = balanselinjen (371 201 mill.), infrastrukturfilen 33 mill. under balanselinjen;
- månedstallene reproduserer tabell 2 nøyaktig (9,44 / 12,95 / 0,88 / 3,01 / −0,20).
- Ordtelling: 1 201 ord i løpende tekst (avsnitt, lister, begreper); 1 495 ord medregnet alle
overskrifter, merkelapper og nøkkeltallsetiketter utenom tabeller.
## Kjente mangler
- Rapportens tabell 4 (fire markeder) og tabell 6 (obligasjonstyper) kan ikke gjenskapes fra filene;
vises bare som rapportens tall ved siden av filens fordeling.
- Rentefilens kombinerte kategorier er gruppert grovt etter vår regel; grupperingen er en forenkling.
- Ingen tidsserie for beholdningene (kun ett uttrekk). Avkastningsgrafene bygger på NBIMs månedsfil.
- Landtabellen for eiendom oppgir antall eiendommer per sektor, ikke verdi, fordi verdi per eiendom ikke finnes.
- Verktøytips krever mus eller trykk; ingen tastaturnavigasjon i grafene.
- Ikke testet i Safari/Firefox, bare Chromium.
## Vesentlige forenklinger og tolkninger
- Avviket mellom filsummer og tabell 1 tolkes som kontanter, derivater og periodiseringer (merket
«tolkning» i rapporten). NBIM forklarer ikke avviket.
- Implisitt USD/NOK 9,8955 er beregnet av oss.
- Kalenderårsavkastning er satt sammen av tolv månedstall (geometrisk), ikke hentet fra en årstabell.
## Verktøy som faktisk ble brukt
- Python 3.13.12 med pandas 3.0.5, numpy 2.5.1, openpyxl 3.1.5 (allerede installert; ingenting installert,
ikke noe virtuelt miljø).
- PyMuPDF 1.28.0 for å lese teksten i PDF-rapporten under arbeidet (ikke del av leveransen).
- Node.js 24.19.0 og Playwright 1.63.0 med Chromium fra en eksisterende lokal `node_modules`
(`simuleringsverktoy/video/node_modules`) som erstatning for `skjermbilde`: `kontroll/skjermbilde.js`
tar fullsides skjermbilde og skriver konsollfeil; `kontroll/interaksjon.js` tester filtre, sortering,
tomt resultat, verktøytips og mobilbredde. Skjermbildene ligger i `kontroll/`.
- Påstander i risikoteksten er kontrollert mot rapportteksten; to setninger uten kildedekning (om valutasikring
og markedsvektet indeks) ble fjernet og erstattet med rapportens egne formuleringer.
- Skjermbildene ble sett på med Claude Codes bildeleser (erstatning for `se_bilde`). PIL ble brukt til å
dele det 19 600 px høye skjermbildet i deler.
- Ingen nettverkstilgang brukt til innhold; ingen CDN i leveransen.
- Modell-ID, tid og kostnad føres av kjøresystemet.