Утром Вера Андреевна собрала всех в наборном цехе, потому что там тише. Распечатка счёта лежит на столе, Лёва стоит рядом с ноутбуком и защищается.
В прошлом уроке каждый токен смотрел вниманием на все токены перед собой. Сегодня посчитаем, во что это обходится, когда токенов много. Начнём с того, о чём Лёва не подумал: модель не помнит прошлых сообщений, и каждый раз читает всё заново. Потом разберём, что такое окно контекста и почему «влезает» не значит «работает». А в конце научимся экономить: KV-кэш внутри модели и кэш промпта между запросами, где порядок частей промпта решает, сколько ты заплатишь.
премиум-урок
Продолжение в премиуме: 1 200 ₽ в месяц или 10 000 ₽ в год. Вместе с ним серверные проверки задач и школьные токены AI-коуча.
Оплата пока не подключена: премиум и курсы открываются промокодом.