Поводом стал семинар Стивена Ся в Northwestern University 21 октября, посвящённый адаптивной работе больших языковых моделей. Его команда исследует довольно простую по смыслу идею: не всякая задача и даже не всякое следующее слово требуют от нейросети одинаковых усилий.
Обычно при генерации ответа каждый новый токен проходит через всю глубину модели. Но исследования группы показывают, что во многих случаях правильный результат становится понятен уже на промежуточных слоях.
Значит, иногда можно остановиться раньше.
В системе PELM исследователи объединили сразу несколько способов экономии. Модель может менять частоту процессора, использовать облегчённое «черновое» прогнозирование следующих токенов и регулировать глубину вычислений. Причём решение принимается динамически — с учётом сложности конкретного участка ответа, доступных ресурсов и температуры устройства.
В экспериментах такой подход позволил снизить энергопотребление до 52,4% и одновременно ускорить работу до 23,1% по сравнению с существующими системами управления энергией — при сопоставимом качестве выполнения задач.
Особенно важно это для моделей, работающих прямо на телефонах, носимых устройствах или другой компактной технике: там ограничены не только вычислительные мощности, но и возможность отводить тепло.
Вчера мы говорили о том, что ИИ вовсе не обязательно должен быть огромным, чтобы быть полезным. Сегодня к этому можно добавить ещё одно: даже большой ИИ не обязательно должен всякий раз работать на полную мощность.
Похоже, взросление технологии начинается в том числе с умения соотносить усилия с задачей.
