Token je nejmenší kousek textu, se kterým umělá inteligence počítá — něco mezi písmenem a slovem. Když do AI napíšete větu, model si ji nejdřív rozseká na tokeny a teprve s nimi pracuje. Zjednodušeně je to „měrná jednotka" jazyka pro stroj: podle počtu tokenů se počítá, kolik text stojí i kolik se ho do modelu vejde.
Zobrazit heslo