Раздел 49 · Агенты и LLM-разработка: типография «Оттиск»

Лигатуры: свой BPE

middle~30 мин

без входаВойди, чтобы отмечать прогресс, вести заметки и решать задачи в редакторе. войти

В прошлом уроке Литера набирала по одной литере и лепила «л.» к любой букве: она видит одну литеру назад и не знает, что перед «л» стояло «у». В уроке 06 ты видел, что большие модели режут текст не на буквы, а на токены, и словарь токенов строит алгоритм BPE. Сегодня ты напишешь свой BPE и обучишь его на папке «Образцы».

Литера сама решит, какие сочетания отлить одним куском. Ты увидишь, как «. Тел. » становится одной литерой, почему «Тел.» в начале строки ею не становится, что меняет размер словаря и зачем настоящие токенизаторы начинают не с букв, а с байтов.

премиум-урок

Продолжение в премиуме: 1 200 ₽ в месяц или 10 000 ₽ в год. Вместе с ним серверные проверки задач и школьные токены AI-коуча.

Оплата пока не подключена: премиум и курсы открываются промокодом.