Группа по оценке искусственного интеллекта MLCommons в прошлую среду выпустила новый набор тестов и результатов (бенчмарк), которые оценивают скорость работы высококлассного оборудования с искусственным интеллектом и его способность отвечать на запросы пользователей.
Два новых бенчмарка, добавленных MLCommons, измеряют скорость, с которой чипы и системы искусственного интеллекта могут генерировать ответы на основе мощных моделей ИИ, наполненных данными. Результаты примерно демонстрируют, насколько быстро приложение с искусственным интеллектом, такое как ChatGPT, может предоставить ответ на запрос пользователя.
Один из новых бенчмарков добавил возможность измерять скорость сценария вопрос-ответ для больших языковых моделей. Названный Llama 2, он включает 70 миллиардов параметров и был разработан Meta Platforms (META.O).
Представители MLCommons также добавили в набор бенчмарков второй генератор текста в изображение, называемый MLPerf, на основе модели Stable Diffusion XL от Stability AI.
Серверы, работающие на чипах Nvidia H100 от таких компаний, как Google (GOOGL.O), Supermicro (SMCI.O) и сама Nvidia (NVDA.O), уверенно выиграли оба новых бенчмарка по сырой производительности. Несколько производителей серверов представили дизайны на основе менее мощного чипа L40S компании.
Производитель серверов Krai представил дизайн для бенчмарка по генерации изображений с чипом искусственного интеллекта Qualcomm (QCOM.O), который потребляет значительно меньше энергии, чем передовые процессоры Nvidia.
Intel (INTC.O) также представила дизайн на основе своих чипов-ускорителей Gaudi2. Компания охарактеризовала результаты как «устойчивые».
Сырая производительность не единственный критерий, который важен при развертывании приложений с искусственным интеллектом. Продвинутые чипы искусственного интеллекта потребляют огромное количество энергии, и одной из самых значимых проблем для компаний в области искусственного интеллекта является создание чипов, обеспечивающих оптимальное соотношение производительности и энергопотребления.
У MLCommons есть отдельная категория бенчмарков для измерения потребления энергии.
Хотите сделать НОВЫЙ САЙТ или МОБИЛЬНОЕ ПРИЛОЖЕНИЕ, чтобы привлечь больше клиентов, или переделать существующий проект с учетом передовых технологий по обеспечению безопасности? Напишите нам https://new-artismedia-client.bitrix24site.ru/ , и мы поможем!