27 октября University of Michigan представил проект E-CALC - Energy Calculus for ML Lifecycle Optimization. Исследователи хотят научиться заранее рассчитывать энергозатраты искусственного интеллекта: от подготовки данных и обучения до ежедневного использования уже готовой модели.

Проект рассчитан на два года и получил $1,83 млн от DARPA. Команда планирует создать открытые инструменты, которые смогут сопоставлять разные сочетания программного обеспечения и оборудования и находить менее расточительный вариант. По оценке исследователей, одна только несогласованность между программами и «железом» способна впустую забирать до 30% энергии при обучении модели, а оптимизация всего процесса потенциально может сократить энергозатраты ИИ до 50%.

Но у этой задачи есть ещё один уровень: иногда экономить можно ещё до того, как начались вычисления.

Та же исследовательская группа уже измеряла энергопотребление десятков генеративных моделей при разговоре, программировании, решении задач, создании изображений и видео. Для некоторых задач разница в энергозатратах между моделями доходила до 300 раз. Особенно дороги рассуждающие модели: длинная цепочка вычислений требует гораздо больше операций и генерируемых токенов. При этом размер модели сам по себе не определяет расход энергии - важны её архитектура, способ запуска и параметры вычислений.

В «ИИ Капитале» похожий принцип уже около года используется на уровне прикладной работы с искусственным интеллектом.

Для сложной исследовательской, аналитической или творческой задачи выбирается более новая и сильная модель, специально рассчитанная на многоступенчатое рассуждение. Она дороже, медленнее и требует больше вычислительных ресурсов, но здесь эти затраты оправданы качеством результата.

Если задача простая и алгоритмическая, мощная модель зачастую избыточна. С классификацией, несложным преобразованием данных или другим предсказуемым действием может справиться более простая и дешёвая версия ИИ.

Мы называем этот принцип «ум по задаче».

Смысл не в том, чтобы всегда выбирать самый слабый или самый дешёвый интеллект. Наоборот: давать задаче ровно столько вычислительной мощности, сколько ей действительно требуется.

Так у выбора модели появляется сразу несколько координат: качество решения, стоимость, скорость и теперь ещё энергия.

Возможно, зрелое использование ИИ начинается не с вопроса «какая модель сегодня самая умная?», а с другого: «сколько ума действительно нужно этой задаче?»