Раздел 49 · Агенты и LLM-разработка: типография «Оттиск»

Окно контекста и кэш

middle-senior~25 мин

без входаВойди, чтобы отмечать прогресс, вести заметки и решать задачи в редакторе. войти

Утром Вера Андреевна собрала всех в наборном цехе, потому что там тише. Распечатка счёта лежит на столе, Лёва стоит рядом с ноутбуком и защищается.

В прошлом уроке каждый токен смотрел вниманием на все токены перед собой. Сегодня посчитаем, во что это обходится, когда токенов много. Начнём с того, о чём Лёва не подумал: модель не помнит прошлых сообщений, и каждый раз читает всё заново. Потом разберём, что такое окно контекста и почему «влезает» не значит «работает». А в конце научимся экономить: KV-кэш внутри модели и кэш промпта между запросами, где порядок частей промпта решает, сколько ты заплатишь.

премиум-урок

Продолжение в премиуме: 1 200 ₽ в месяц или 10 000 ₽ в год. Вместе с ним серверные проверки задач и школьные токены AI-коуча.

Оплата пока не подключена: премиум и курсы открываются промокодом.