В прошлом уроке Литера набирала по одной литере и лепила «л.» к любой букве: она видит одну литеру назад и не знает, что перед «л» стояло «у». В уроке 06 ты видел, что большие модели режут текст не на буквы, а на токены, и словарь токенов строит алгоритм BPE. Сегодня ты напишешь свой BPE и обучишь его на папке «Образцы».
Литера сама решит, какие сочетания отлить одним куском. Ты увидишь, как «. Тел. » становится одной литерой, почему «Тел.» в начале строки ею не становится, что меняет размер словаря и зачем настоящие токенизаторы начинают не с букв, а с байтов.
премиум-урок
Продолжение в премиуме: 1 200 ₽ в месяц или 10 000 ₽ в год. Вместе с ним серверные проверки задач и школьные токены AI-коуча.
Оплата пока не подключена: премиум и курсы открываются промокодом.