Proč to řešit
Token je nudně znějící slovo, ale stojí za dvěma věcmi, které v praxi řešíte pořád: kolik vás AI stojí a kde má strop. Placené AI nástroje se účtují po tokenech a limity modelů se v tokenech měří. Kdo ví, co je token, přestane se divit, proč delší zadání zdražuje odpověď nebo proč model „usekne" dlouhý dokument.
Jak to funguje
Model nečte slova ani písmena tak jako člověk. Text si rozdělí na tokeny — kousky, které se v jazyce často opakují. Někdy je token celé krátké slovo („pes"), jindy jen část delšího slova, předpona nebo koncovka, občas i mezera nebo interpunkce.
Pár věcí, které z toho plynou:
- Hrubé pravidlo: v angličtině vyjde jeden token zhruba na čtyři znaky nebo tři čtvrtiny slova. Tisíc tokenů jsou tedy zhruba tři čtvrtě stránky textu.
- Čeština je „dražší". Rozpadá se na víc tokenů než angličtina (diakritika, delší a ohýbaná slova), takže stejně dlouhý český text spotřebuje víc tokenů — a tím pádem i víc peněz.
- Počítá se vstup i výstup. Tokeny se sčítají na obou stranách: co pošlete do modelu (vaše zadání, přiložené podklady) i co vám model napíše zpět.
Kde na tokeny narazíte
I když slovo „token" nikdy nevyslovíte, jeho důsledky vás doženou:
- Cena. U API přístupu (třeba když si AI napojíte přes Make do vlastního procesu) platíte za tisíce tokenů. Delší prompty a dlouhé přílohy = vyšší účet. Proto se vyplatí posílat modelu jen to podstatné, ne celý web.
- Limity. Kolik textu model naráz „udrží v hlavě", se udává v tokenech — tomu se říká kontextové okno. Když ho přetečete, model na starší část konverzace zapomene.
- Odhad nákladů. U větších nasazení (hromadné generování popisků, shrnování stovek dotazů) se dá cena dopředu spočítat právě přes počet tokenů.
Konkrétní příklad
Necháte AI přepsat 200 produktových popisků a napojíte ji přes API do svého systému. Každý popisek má na vstupu zadání a podklad, na výstupu hotový text — dohromady řekněme pár set tokenů na jeden. U 200 popisků se to nasčítá do stovek tisíc tokenů. Když víte, kolik jeden token stojí, spočítáte si cenu celé dávky předem, místo abyste se lekli až faktury.
Na co si dát pozor
Nehoňte se za nejnižším počtem tokenů na úkor výsledku. Ušetřit se dá tím, že modelu nepošlete zbytečný balast — ne tím, že mu vezmete kontext, který potřebuje k dobré odpovědi. Škrtat je dobré na vatě, ne na zadání.
Odkud se pojem vzal
Rozdělování textu na menší jednotky (tzv. tokenizace) je stará disciplína počítačového zpracování jazyka, mnohem starší než dnešní AI. Do běžného slovníku se „token" dostal až s velkými jazykovými modely, u kterých se stal jednotkou ceny i výkonu.
Možná vás bude zajímat
- LLM (velký jazykový model) — technologie, která s tokeny pracuje
- Kontextové okno — kolik tokenů model naráz udrží (cílový odkaz doplnit až heslo vznikne)
- MCP (Model Context Protocol) — jak AI napojíte na vlastní data a nástroje