Раздел 49 · Агенты и LLM-разработка: типография «Оттиск»

Путаница токенов

middle~20 мин

без входаВойди, чтобы отмечать прогресс, вести заметки и решать задачи в редакторе. войти

Ирина Львовна кладёт на талер счёт за вывеску. Заказ свой: «Оттиск» решил повесить над входом объёмные буквы, сувенирный цех режет их по 900 ₽ за штуку. Счёт считал агент Лёвы.

В уроке 06 ты резал письмо клиента на токены и видел, что модель получает не буквы, а куски текста по словарю BPE. В прошлом уроке мы разбирались, что модель знает. Сегодня про то, что она видит: где граница токена не совпадает с границей задачи, и почему от этого ломаются счёт букв, арифметика, отступы, номера строк и поиск по прайсу.

премиум-урок

Продолжение в премиуме: 1 200 ₽ в месяц или 10 000 ₽ в год. Вместе с ним серверные проверки задач и школьные токены AI-коуча.

Оплата пока не подключена: премиум и курсы открываются промокодом.