Model tests · The Oil Fund as a learning resource
Claude Opus 5.5
Anthropic · tested 28 September 2026 · delivered
The delivery runs as the model made it. Open in a new window.

Our assessment
Our assessments were written in Norwegian; this is our English translation. Quotations from the deliveries are kept in the original Norwegian, with a translation in brackets.
- Does it work?
- 5
- Does it follow the task?
- 5
- Academic or creative quality
- 5
- Little follow-up work
- 4
- Average
- 4.75
- Honesty (not in the average)
- 5
The best Oil Fund delivery so far: correct figures, a thorough and honest reconciliation, denominators everywhere and a consistency check that makes the figures verifiable, delivered in eight minutes for USD 1.79.
Strengths
- All file totals match the control figures, and the reconciliation against both Table 1 and the balance sheet shows each discrepancy (+77, +228 and −21 billion) without forcing them to agree.
- Scope and denominator are stated with every chart and table, and the whole fund is kept separate from the filtered equity views.
- A consistency check in the browser that recalculates the totals from the table rows (“Konsistenskontroll OK” – “Consistency check OK”); 13 charts, all visible.
- Monthly returns taken only from NBIM's own file in the package, with the period stated and the model's own composition clearly labelled.
Weaknesses
- Country names are left in English, while the sectors are translated into Norwegian.
- The report figures are taken from the quotations in kilder.md, not read from the PDF (the environment lacked PDF tools; stated by the model).
- The mobile view has not been checked systematically (stated by the model).
Assessed 27 September 2026. One attempt per task.
The run
| Model ID | claude-opus-5-5 |
|---|---|
| Settings | output_config: {"effort":"high"} · maxOutputTokens: 64000 · dryRun: false |
| Environment | Our runner (closed container) |
| Time | 8 min 52 s |
| Steps | 31 |
| Tokens | 1,799,412 in · 48,249 out |
| Cost at the provider | USD 1.79 |
| Ended | Delivered |
| Where data was processed | USA (Anthropic). |
| Material package | ec60361bafe00b8a |
| Human help | None |
The model's own check report
The text was written by the model in Norwegian and is reproduced unchanged, without translation.
# Kontrollrapport
## Hva som fungerer (kontrollert)
- **Rapporten åpner uten nett.** `index.html` er åpnet fra `file://` og via `skjermbilde` (Chromium). Ingen konsollfeil ble rapportert. ECharts og data ligger lokalt (`lib/`, `data/`).
- **Grafene** er kontrollert visuelt med skjermbilder:
- aktivafordeling for hele fondet
- månedlig avkastning i H1 2026
- aksjer per land og per region (knapp for å bytte)
- aksjer per sektor
- de 20 største aksjebeholdningene
- kumulativ konsentrasjonskurve
- to filtrerte grafer (sektor og topp 10)
- renter per type og per land
- eiendom per land og antall eiendommer per type
- infrastruktur per land
- **Verktøytips** er testet med Playwright ved å føre musepekeren over grafene for topp 20, fondsfordeling, geografi og sektor. Verktøytipsene viste verdi, andel med nevner og omfang, for eksempel «NVIDIA Corp … 612,0 mrd. kr (61,8 mrd. USD) · 3,72 % av aksjefilen».
- **Filtre og tabell** er testet med Playwright:
- Søket «zzzqqq» gir en tydelig melding om tomt resultat i statuslinjen, i tabellen og i begge filtrerte grafer («Ingen treff i utvalget»). Det samme gjelder søket «xyzxyz» kombinert med Brazil + Energi, som også er kontrollert med skjermbilde.
- Japan + Energi gir 7 selskaper, 5,5 mrd. kr og 0,03 % av aksjefilen.
- Japan + søket «bank» gir 30 selskaper.
- Sortering på selskapsnavn og bla mellom sider fungerer. Nullstill tilbakestiller filtre og sortering.
- **Konsistens:** ved lasting beregner nettleseren summene for land, sektor og region, totalen og andelen til de ti største fra de samme radene som tabellen bruker. Resultatet sammenlignes med Python-aggregatene. Siden viser «Konsistenskontroll OK».
- **CSV og XLSX** har samme antall rader og samme sum i NOK for aksjer og renter (assert i `prep.py`).
- **Reproduserbarhet:** `prep.py` er kjørt både mot `/pakke` og mot `kildedata/` i leveransen, og gav identisk `beregnet_data.json` (samme MD5).
- **Kontrolltall:** filsummene er identiske med kontrolltallene i pakkens `dataforklaring.md`: aksjer 16 435 349 656 605 kr, renter 6 087 656 903 011 kr, eiendom 371 200 943 411 kr og infrastruktur 83 383 234 801 kr.
- **Ordtelling:** analyseteksten er på om lag 1 304 ord, målt i Chromium. Tellingen omfatter avsnitt, lister og begrepsdefinisjoner, men ikke tabeller og grafer.
## Kjente mangler og begrensninger
- **Rapporttallene er ikke lest direkte fra PDF-en.** Miljøet har ingen verktøy for å trekke ut PDF-tekst (pdftotext, pypdf og fitz mangler). Tallene fra tabell 1, balansen og tabell 7 og 9 er derfor hentet fra de ordrette sitatene i pakkens `kilder.md`, med sidehenvisninger.
- **Halvårsavkastningen er ikke avstemt mot rapportteksten.** Tallene er vår egen sammensetning av NBIMs månedstall, og det står tydelig i rapporten.
- **Avvikene er ikke forklart av NBIM.** Avviket mellom filsum og tabell 1 er +77 mrd. for aksjer, +228 mrd. for renter og −21 mrd. for infrastruktur. Avvikene er vist, men ikke forklart. Den mulige forklaringen i rapporten er merket som egen tolkning.
- **Grovt detaljnivå for renter, eiendom og infrastruktur.** Rentefilen har ingen durasjon, kredittvurdering eller valuta. Eiendom og infrastruktur har bare verdi per land. Obligasjonstyper som er kombinert per utsteder, kan ikke deles opp.
- **Ingen landkart.** Geografien vises som stolpediagram.
- **Definisjoner mangler i kilden.** NBIM dokumenterer ikke hvordan land tilordnes, hvordan eierandel og stemmeandel defineres, eller hvilken valutakurs som er brukt. Rapporten sier dette eksplisitt.
- **Bare stikkprøver av layouten.** Rapporten er ikke testet i andre nettlesere enn Chromium, og mobilvisning er ikke kontrollert systematisk.
## Vesentlige forenklinger
- Andeler i aksjedelen bruker summen av aksjefilen som nevner, ikke tabell 1 og ikke fondets verdi. Nevneren er oppgitt ved hver graf og tabell.
- Sektornavnene er oversatt til norsk, mens landnavnene står på engelsk som i kilden.
- Avkastning vises bare for januar–juni 2026. Vi har ikke laget noen historiske tidsserier.
## Verktøy som faktisk er brukt
- Python 3.12.3 med pandas 2.1.4, numpy 1.26.4 og openpyxl 3.1.2 (databehandling) og Pillow (beskjæring av skjermbilder).
- Apache ECharts 5.6.0 (grafer), vanlig JavaScript, HTML og CSS.
- Node 22.18.0 og Playwright 1.55.0 med Chromium (interaksjonstester, ordtelling og skjermbilder av seksjoner). Verktøyet `skjermbilde` er brukt til helsidebilder og sjekk av konsollfeil.
- LibreOffice og ffmpeg er ikke brukt.