Proč to řešit
Tohle je vysvětlení k otázce, kterou si položí každý, kdo s AI chvíli pracuje: proč model najednou zapomene, co jsme řešili na začátku? Nebo proč odmítne pořádně zpracovat dlouhý dokument. Za obojím stojí velikost kontextového okna. Když víte, jak funguje, přestanete po AI chtít nemožné a naučíte se jí dávat podklady tak, aby z nich měla užitek.
Jak to funguje
Model nemá paměť jako člověk. Při každé odpovědi se dívá na jedno „okno" textu a nic mimo něj neexistuje. Do tohohle okna se vejde:
- vaše zadání (dotaz, instrukce),
- přiložené podklady (dokument, data, přepis),
- dosavadní průběh konverzace,
- a místo na samotnou odpověď — ta se do okna taky počítá.
Všechno dohromady soupeří o stejný omezený prostor. Když konverzace nebo podklad okno přeteče, nejstarší část vypadne — model na ni prostě zapomene, i když jste ji psali vy. Proto se u dlouhých chatů stává, že si asistent přestane pamatovat, co jste mu řekli na začátku.
Časté nedorozumění: větší okno není vždycky lepší
Panuje představa, že čím větší kontextové okno, tím chytřejší AI. Není to tak jednoduché ze dvou důvodů. Zaprvé velké okno stojí víc — platíte po tokenech, takže nacpat do modelu stovky stran ke každému dotazu se pořádně prodraží. Zadruhé modely mají tendenci věnovat menší pozornost tomu, co je uprostřed dlouhého vstupu — důležitá věta schovaná na straně 80 může snadno zapadnout. Praktický závěr: lepší je dát modelu přesně to, co k úkolu potřebuje, než ho zavalit vším.
Kde to v praxi řešíte
- Dlouhé konverzace. U delšího chatu shrňte podstatné do jedné zprávy, místo abyste spoléhali, že si model pamatuje všechno odshora. Co je pro úkol důležité, zopakujte.
- Práce s dokumenty. Když necháváte AI zpracovat dlouhý report nebo smlouvu, hlídejte, jestli se celý vejde do okna. Když ne, rozdělte ho na části nebo vytáhněte jen relevantní pasáže.
- Napojení na vlastní data. Místo cpaní všeho do okna se v praxi používá přístup, kdy se modelu dohledají a podstrčí jen relevantní kousky vaší databáze (přes MCP nebo tzv. RAG). Okno tak zůstane volné na práci, ne na balast.
Konkrétní příklad
Nahrajete AI stostránkový PDF report a zeptáte se: „Co z toho plyne pro náš příští kvartál?" Pokud se report do kontextového okna vejde, model pracuje se vším a dá vám shrnutí z celku. Pokud je moc dlouhý, buď ho model odmítne, nebo — hůř — zpracuje jen část a vy o tom nevíte. Řešení: nahrát jen relevantní kapitoly, nebo report nejdřív rozsekat a shrnovat po částech.
Kam to míří
Kontextová okna se rok od roku zvětšují — od pár stránek textu k tisícům stran u nejnovějších modelů. Zároveň ale platí, že samotná velikost okna nenahradí dobrou práci s podklady: i do obřího okna má smysl dávat spíš to podstatné než všechno. Trend proto míří nejen k větším oknům, ale hlavně k chytřejšímu vybírání toho, co modelu vůbec podstrčit.
Možná vás bude zajímat
- Token — jednotka, ve které se velikost okna měří
- LLM (velký jazykový model) — technologie, která s kontextovým oknem pracuje
- MCP (Model Context Protocol) — jak modelu podstrčit jen relevantní data místo všeho