Раздел 49 · Агенты и LLM-разработка: типография «Оттиск»

Внимание и трансформер

middle-senior~25 мин

без входаВойди, чтобы отмечать прогресс, вести заметки и решать задачи в редакторе. войти

Письмо клиентки так и лежит на наборном столе: «Дочка выбрала бумагу для приглашений. Сделайте её поплотнее». Сан Саныч постукивает по нему пальцем.

В уроке 07 мы оставили открытым вопрос: у токена «лист» одна строка таблицы эмбеддингов, а «лист бумаги» и «лист жести» это разные вещи. Значит, где-то между таблицей и логитами вектор токена должен вобрать в себя соседей. Механизм, который это делает, называется вниманием, и на нём держится трансформер, архитектура нынешних языковых моделей.

Сегодня разберём внимание на числах: запрос, ключ и значение, маску «не смотри в будущее», несколько голов. Потом соберём из внимания блок трансформера и посчитаем, сколько в нём параметров. В виджете ты посмотришь на внимание настоящей модели, а не на картинку: это веса крошечной Литеры, которую ты сам соберёшь в AG2. Сан Саныч предупреждает сразу: здесь касса кончается, сравнивать придётся с другим.

премиум-урок

Продолжение в премиуме: 1 200 ₽ в месяц или 10 000 ₽ в год. Вместе с ним серверные проверки задач и школьные токены AI-коуча.

Оплата пока не подключена: премиум и курсы открываются промокодом.