На экране Лёвы таблица: номер, модель, балл. В первой строке 91.41, во второй 87.91. Лёва ведёт пальцем по первой строке, как по прайсу.
В прошлом уроке цена решённой задачи упёрлась в долю удачных попыток: от неё зависит, сколько заходов уйдёт на задачу и сколько раз Лёва будет читать дифф. Рейтинг обещает эту долю подсказать. Сегодня разберёмся, что он показывает. Возьмём два рейтинга, которые устроены по-разному: LiveBench, который сам прогоняет модели на своих задачах, и BenchLM, который собирает чужие результаты. На них соберём семь вопросов, которые надо задать любой таблице с баллами, прежде чем менять модель.
премиум-урок
Продолжение в премиуме: 1 200 ₽ в месяц или 10 000 ₽ в год. Вместе с ним серверные проверки задач и школьные токены AI-коуча.
Оплата пока не подключена: премиум и курсы открываются промокодом.