prague-bench

prague-bench

Benchmark jednoho promptu pro AI agenty na programování. Každý model dostane stejné zadání: v Three.js procedurálně postavit let dronem nad Pražským hradem a Karlovým mostem, vyrenderovat ho bez obrazovky a odevzdat 58sekundové video na výšku. Bez jakékoli lidské pomoci. Tady najdete, kolik který běh stál, jak dlouho trval, jak rychle model psal a co na výsledek řekla slepá porota tří AI porotců.

dokončených běhů s platným videem
13
stály tyto běhy (ceník + účtováno)
122 $
celkový čas těchto běhů
14 h 6 min
poslední slepá porota, 11 videí
14. 11.

Pořadí

Slepá porota z 14. 11. 2026 hodnotila 11 videí. Tři porotci od tří různých firem bodovali 16 snímků z každého videa, aniž věděli, který model ho vytvořil. Skóre je medián jejich tří hodnocení.

Poslední slepá porota: hodnocení porotců, medián a změna oproti dřívějším porotám
#ModelHarnessAnthropicOpenAIGoogleMediánRozptyloproti 13. 11.oproti 11. 11.H1–H6
1Claude Fable 5.2Anthropic · highClaude Code868885863−3±0Splněno
2Claude Opus 5.5Anthropic · highClaude Code8581758110−2+1Splněno
3Claude Sonnet 5.5Anthropic · highClaude Code7377867713+1−1Splněno
4GPT-6 AstraOpenAI · highCodex5863686310−1+5Splněno
4Qwen3.8 MaxAlibaba · mediumOpenCode6353786325––Splněno
6GPT-6.1 SolOpenAI · highCodex585860582−2±0Splněno
7Claude Haiku 5.5Anthropic · highClaude Code5343915348±0+6Splněno
8Gemini 4 ArgonGoogle · mediumAntigravity5259485211−3−3Splněno
9Gemini 4 HydrogenGoogle · xhighAntigravity4148524811+3–Splněno
10Grok 4.7xAI · mediumCursor372930308−14−8Splněno

Rozptyl je rozdíl mezi nejvyšším a nejnižším hodnocením. Poslední dva sloupce ukazují, jak se medián posunul oproti dřívějším porotám; „–“ znamená, že video tehdy ještě nebylo. Rozdíly zhruba do 6 bodů jsou v mezích šumu poroty. Neúspěšné běhy, například zástupné video, tu nejsou, i když je porota hodnotila.

Dokončené běhy

Všechny běhy, které skončily platným videem splňujícím H1–H6. Čas modelu počítá jen dobu, kdy model generoval; zbytek celkového času zabraly nástroje, rendery a čekání. Po kliknutí na model uvidíte celý záznam běhu.

Kliknutím na záhlaví sloupce tabulku seřadíte.

Hlavní statistiky dokončených běhů
ModelEffortStavSkóreCenaCelkový časČas modelutok/sTokenyVýstupZ cacheH1–H6
Claude Fable 5.2Claude Code · AnthropichighDokončen8643,54 $1 h 40 min1 h 8 min97,425,2 mil.397 tis.91 %Splněno
Claude Opus 5.5Claude Code · AnthropichighDokončen8115,41 $1 h 7 min56 min105,323,2 mil.352 tis.97 %Splněno
Claude Sonnet 5.5Claude Code · AnthropichighDokončen777,28 $53 min39 min133,019,5 mil.307 tis.95 %Splněno
GPT-6 AstraCodex · OpenAIhighDokončen634,46 $14 min11 min36,22,6 mil.25 tis.97 %Splněno
Qwen3.8 MaxOpenCode · OpenRoutermediumDokončen6318,74 $ †4 h 6 min3 h 59 min30,969,2 mil.443 tis.99 %Splněno
GPT-6.1 SolCodex · OpenAIhighDokončen580,83 $14 min13 min36,14,0 mil.27 tis.98 %Splněno
Claude Haiku 5.5Claude Code · AnthropichighDokončen531,32 $29 min22 min214,712,3 mil.289 tis.96 %Splněno
Gemini 4 ArgonAntigravity · GooglemediumDokončen523,57 $37 min27 min67,57,6 mil.110 tis.88 %Splněno
Gemini 4 HydrogenAntigravity · GooglexhighDokončen · chyba harnessu, bez reportu483,01 $20 min14 min190,66,9 mil.162 tis.87 %Splněno
Grok 4.7Cursor · CursormediumDokončen30–31 min–––––Splněno
Claude Opus 5.5 (2. běh, starší zadání)Claude Code · Anthropic · starší zadánívýchozíDokončen–24,21 $2 h47 min98,026,5 mil.278 tis.89 %Splněno
Nemotron 3 Ultra FreeOpenCode · OpenRoutermediumDokončen–0 $ †58 min27 min70,124,7 mil.111 tis.98 %Splněno
Nemotron 3.5 Super VL FreeOpenCode · OpenRouterthinkingDokončen–0 $ †58 min34 min101,830,1 mil.205 tis.98 %Splněno

† skutečně účtovaná částka, ne ceníková cena

8 běhů, které neskončily platným videem, na této stránce není. Jejich záznam najdete v sekci Selhání.

Skóre a cena

Cena a kvalita jdou proti sobě. Běh leží na Paretově hranici, když žádný jiný běh není zároveň levnější a lepší.

Skóre podle ceny (logaritmická osa)

  • Paretova hranice
Skóre podle cenyBodový graf skóre poslední poroty proti ceně každého hodnoceného běhu, cena na logaritmické ose, Paretova hranice jako čára.0204060801000,5125102050Cena (USD)Skóre porotyClaude Fable 5.2: 86 · 43,54 $Fable 5.2Claude Opus 5.5: 81 · 15,41 $Opus 5.5Claude Sonnet 5.5: 77 · 7,28 $Sonnet 5.5GPT-6 Astra: 63 · 4,46 $AstraQwen3.8 Max: 63 · 18,74 $ †Qwen3.8 Max†GPT-6.1 Sol: 58 · 0,83 $SolClaude Haiku 5.5: 53 · 1,32 $Haiku 5.5Gemini 4 Argon: 52 · 3,57 $ArgonGemini 4 Hydrogen: 48 · 3,01 $Hydrogen
Každá tečka je jeden hodnocený běh, červená čára spojuje Paretovu hranici. Ceny jsou ceníkové ceny API, pokud nejsou označené †. Bezplatné modely jsou v pruhu vlevo. Běhy bez údaje o ceně v grafu chybí.

Cena za bod skóre

  • Paretova hranice
  1. GPT-6.1 Sol0,014 $58 bodů
  2. Claude Haiku 5.50,025 $53 bodů
  3. Gemini 4 Hydrogen0,063 $48 bodů
  4. Gemini 4 Argon0,069 $52 bodů
  5. GPT-6 Astra0,071 $63 bodů
  6. Claude Sonnet 5.50,095 $77 bodů
  7. Claude Opus 5.50,190 $81 bodů
  8. Qwen3.8 Max0,298 $†63 bodů
  9. Claude Fable 5.20,506 $86 bodů
Cena vydělená skóre poroty. Méně je lépe. U bezplatných modelů stojí bod nula.
Ukazatele hodnoty u hodnocených běhů
ModelSkóreCenaCena za bodBodů za $Výstupních tokenů na bodParetova hranice
Claude Fable 5.28643,54 $0,506 $2,04 614Cena · Celkový čas
Claude Opus 5.58115,41 $0,190 $5,34 344Cena · Celkový čas
Claude Sonnet 5.5777,28 $0,095 $10,63 989Cena · Celkový čas
GPT-6 Astra634,46 $0,071 $14,1389Cena · Celkový čas
Qwen3.8 Max6318,74 $ †0,298 $3,47 036–
GPT-6.1 Sol580,83 $0,014 $69,9473Cena
Claude Haiku 5.5531,32 $0,025 $40,25 446–
Gemini 4 Argon523,57 $0,069 $14,62 121–
Gemini 4 Hydrogen483,01 $0,063 $16,03 378–
Grok 4.730–––––

Čas

Celkový čas běží od první do poslední akce agenta a zahrnuje i renderování a kódování videa, protože i to je součást úlohy.

Skóre podle celkového času (logaritmická osa)

  • Paretova hranice
Skóre podle celkového časuBodový graf skóre poslední poroty proti celkovému času každého hodnoceného běhu, čas na logaritmické ose, Paretova hranice jako čára.020406080100102050100200500Celkový čas (minuty)Skóre porotyClaude Fable 5.2: 86 · 1 h 40 minFable 5.2Claude Opus 5.5: 81 · 1 h 7 minOpus 5.5Claude Sonnet 5.5: 77 · 53 minSonnet 5.5GPT-6 Astra: 63 · 14 minAstraQwen3.8 Max: 63 · 4 h 6 minQwen3.8 MaxGPT-6.1 Sol: 58 · 14 minSolClaude Haiku 5.5: 53 · 29 minHaiku 5.5Gemini 4 Argon: 52 · 37 minArgonGemini 4 Hydrogen: 48 · 20 minHydrogenGrok 4.7: 30 · 31 minGrok 4.7
Každá tečka je jeden hodnocený běh. Červená čára spojuje běhy, které žádný jiný běh nepřekoná zároveň v čase i skóre.

Kam se čas poděl

  • Model generuje
  • Nástroje a čekání
  1. Qwen3.8 Max4 h 6 minmodel 97 %
  2. Claude Opus 5.5 (2. běh, starší zadání)2 hmodel 40 %
  3. Claude Fable 5.21 h 40 minmodel 68 %
  4. Claude Opus 5.51 h 7 minmodel 83 %
  5. Nemotron 3 Ultra Free58 minmodel 46 %
  6. Nemotron 3.5 Super VL Free58 minmodel 58 %
  7. Claude Sonnet 5.553 minmodel 73 %
  8. Gemini 4 Argon37 minmodel 74 %
  9. Claude Haiku 5.529 minmodel 78 %
  10. Gemini 4 Hydrogen20 minmodel 71 %
  11. GPT-6 Astra14 minmodel 81 %
  12. GPT-6.1 Sol14 minmodel 91 %
Čas modelu je součet všech volání modelu, od odeslání požadavku po poslední token. Zbytek připadá na nástroje, rendery, kódování a režii harnessu. Běhy bez časování jednotlivých volání v grafu chybí.

Rychlost generování

Tokeny za sekundu v době, kdy model opravdu generoval. Volání nástrojů a čekání se nepočítají, čas do prvního tokenu ano. Jde tedy o rychlost modelu od začátku do konce, ne o čistou rychlost dekódování.

Vygenerované tokeny za sekundu

  1. Claude Haiku 5.5214,7 tok/sClaude Code
  2. Gemini 4 Hydrogen190,6 tok/sAntigravity
  3. Claude Sonnet 5.5133,0 tok/sClaude Code
  4. Claude Opus 5.5105,3 tok/sClaude Code
  5. Nemotron 3.5 Super VL Free101,8 tok/sOpenCode
  6. Claude Opus 5.5 (2. běh, starší zadání)98,0 tok/sClaude Code
  7. Claude Fable 5.297,4 tok/sClaude Code
  8. Nemotron 3 Ultra Free70,1 tok/sOpenCode
  9. Gemini 4 Argon67,5 tok/sAntigravity
  10. GPT-6 Astra36,2 tok/sCodex
  11. GPT-6.1 Sol36,1 tok/sCodex
  12. Qwen3.8 Max30,9 tok/sOpenCode
Výstupní tokeny včetně uvažování vydělené součtem doby generování všech volání.

Tokeny

Agent při každém volání posílá celý rostoucí kontext znovu, takže většina tokenů se čte z cache. Mezi harnessy se poměr hodně liší: některé do cache zapisují výslovně, jiné z ní jen čtou.

Skladba tokenů a podíl z cache

  • Vstup bez cache
  • Čtení z cache
  • Zápis do cache
  • Výstup
  1. Qwen3.8 Max99 % z cache69,2 mil. celkem
  2. Nemotron 3.5 Super VL Free98 % z cache30,1 mil. celkem
  3. Claude Opus 5.5 (2. běh, starší zadání)89 % z cache26,5 mil. celkem
  4. Claude Fable 5.291 % z cache25,2 mil. celkem
  5. Nemotron 3 Ultra Free98 % z cache24,7 mil. celkem
  6. Claude Opus 5.597 % z cache23,2 mil. celkem
  7. Claude Sonnet 5.595 % z cache19,5 mil. celkem
  8. Claude Haiku 5.596 % z cache12,3 mil. celkem
  9. Gemini 4 Argon88 % z cache7,6 mil. celkem
  10. Gemini 4 Hydrogen87 % z cache6,9 mil. celkem
  11. GPT-6.1 Sol98 % z cache4,0 mil. celkem
  12. GPT-6 Astra97 % z cache2,6 mil. celkem
Podíl jednotlivých druhů tokenů na celku. Z cache = tokeny přečtené z cache vydělené všemi vstupními tokeny (bez cache + čtení z cache + zápis do cache). Výstup zahrnuje uvažování.

Porotci

Skóre poroty neprozradí, jak k němu porotci došli. Tyto grafy ukazují, co oceňovali, jak moc se shodli a jak stabilní byla hodnocení ve třech samostatných porotách.

Za co byly body

  • Památky
  • Vzhled města
  • Kamera a dron
  • Život
  • Celkový dojem
  1. Claude Fable 5.286Medián
  2. Claude Opus 5.581Medián
  3. Claude Sonnet 5.577Medián
  4. GPT-6 Astra63Medián
  5. Qwen3.8 Max63Medián
  6. GPT-6.1 Sol58Medián
  7. Claude Haiku 5.553Medián
  8. Gemini 4 Argon52Medián
  9. Gemini 4 Hydrogen48Medián
  10. Grok 4.730Medián
Průměr tří porotců v každé kategorii hodnoticí tabulky v poslední porotě (památky 25, vzhled města 25, kamera a dron 30, život 10, celkový dojem 10). Součet průměrů se může od mediánu mírně lišit.

Shoda porotců u jednotlivých videí

  • Anthropic
  • OpenAI
  • Google
  • Medián
Shoda porotců u jednotlivých videíBodový graf s jedním řádkem na video: celkové hodnocení každého porotce, rozpětí mezi nimi a medián.0255075100Claude Fable 5.2: Anthropic 86, OpenAI 88, Google 85; Medián 86Fable 5.2Δ 3Claude Opus 5.5: Anthropic 85, OpenAI 81, Google 75; Medián 81Opus 5.5Δ 10Claude Sonnet 5.5: Anthropic 73, OpenAI 77, Google 86; Medián 77Sonnet 5.5Δ 13GPT-6 Astra: Anthropic 58, OpenAI 63, Google 68; Medián 63AstraΔ 10Qwen3.8 Max: Anthropic 63, OpenAI 53, Google 78; Medián 63Qwen3.8 MaxΔ 25GPT-6.1 Sol: Anthropic 58, OpenAI 58, Google 60; Medián 58SolΔ 2Claude Haiku 5.5: Anthropic 53, OpenAI 43, Google 91; Medián 53Haiku 5.5Δ 48Gemini 4 Argon: Anthropic 52, OpenAI 59, Google 48; Medián 52ArgonΔ 11Gemini 4 Hydrogen: Anthropic 41, OpenAI 48, Google 52; Medián 48HydrogenΔ 11Grok 4.7: Anthropic 37, OpenAI 29, Google 30; Medián 30Grok 4.7Δ 8
Jeden řádek na video v poslední porotě. Pruh vede od nejnižšího k nejvyššímu hodnocení, svislá čárka je medián.

Posun skóre mezi porotami

  • posun o více než 6 bodů
  • stabilní v mezích 6 bodů
Posun skóre mezi porotamiSpojnicový graf mediánu skóre každého modelu ve třech slepých porotách.02040608010011. 11. 202613. 11. 202614. 11. 2026Claude Fable 5.2: 11. 11. 86, 13. 11. 89, 14. 11. 86Fable 5.2 86Claude Opus 5.5: 11. 11. 80, 13. 11. 83, 14. 11. 81Opus 5.5 81Claude Sonnet 5.5: 11. 11. 78, 13. 11. 76, 14. 11. 77Sonnet 5.5 77GPT-6 Astra: 11. 11. 58, 13. 11. 64, 14. 11. 63Astra 63Qwen3.8 Max: 11. 11. –, 13. 11. –, 14. 11. 63Qwen3.8 Max 63GPT-6.1 Sol: 11. 11. 58, 13. 11. 60, 14. 11. 58Sol 58Claude Haiku 5.5: 11. 11. 47, 13. 11. 53, 14. 11. 53Haiku 5.5 53Gemini 4 Argon: 11. 11. 55, 13. 11. 55, 14. 11. 52Argon 52Gemini 4 Hydrogen: 11. 11. –, 13. 11. 45, 14. 11. 48Hydrogen 48Grok 4.7: 11. 11. 38, 13. 11. 44, 14. 11. 30Grok 4.7 30
Stejná videa, pokaždé znovu hodnocená naslepo s novými písmeny, když přibyl další model. Červené čáry se mezi dvěma porotami posunuly o více než 6 bodů.
Stabilita pořadí mezi po sobě jdoucími porotami
PorotyVideí v obouSpearmanovo ρNejvětší změna pořadíPrůměrná |Δ skóre|Největší |Δ skóre|
11. 11. → 13. 11.80,99413,56
13. 11. → 14. 11.90,98313,214

Podle harnessu a poskytovatele

Model se nikdy neměří sám o sobě: běží v harnessu a ceny i limity určuje poskytovatel.

Běhy seskupené podle harnessu a poskytovatele
HarnessPoskytovatelBěhyHodnocenoNejlepší skóreCena celkemČas celkem
Claude CodeAnthropic54Claude Fable 5.2 8691,76 $6 h 8 min
OpenCodeOpenRouter31Qwen3.8 Max 6318,74 $6 h 2 min
AntigravityGoogle22Gemini 4 Argon 526,58 $57 min
CodexOpenAI22GPT-6 Astra 635,29 $28 min
CursorCursor11Grok 4.7 30–31 min