NVIDIA Orin демонстрирует отличные результаты в edge-системах ИИ
Представленная недавно NVIDIA Jetson AGX Orin улучшает возможности искусственного интеллекта в edge-системах, укрепляя лидирующие позиции компании в отраслевых бенчмарках для инференса.
Система-на-чипе малой мощности NVIDIA Orin, основанная на архитектуре NVIDIA Ampere, установила новые рекорды в инференсе в бенчмарках MLPerf, подняв планку производительности ускорителей NVIDIA в edge-системах.
NVIDIA вместе с партнерами продолжает демонстрировать высочайшую производительность в задачах ИИ, предлагая самую широкую экосистему для всех задач машинного обучения в уже пятом раунде отраслевых тестов производительности в задачах ИИ.
В категории задач ИИ для edge-систем предрелизная версия NVIDIA Orin лидирует в пяти из шести тестов производительности. Система оказалась до 5 раз быстрее, чем Jetson AGX Xavier предыдущего поколения, обеспечивая при этом в среднем двукратное повышение энергоэффективности.
Система-на-чипе NVIDIA Orin доступна в составе комплекта разработчика NVIDIA Jetson AGX Orin для робототехники и автономных систем. Платформу NVIDIA Jetson сегодня применяют свыше 6000 заказчиков компании, включая Amazon Web Services, John Deere, Komatsu, Medtronic и Microsoft Azure для инференса и других задач.
Она также является ключевым компонентом платформы NVIDIA Hyperion для автономных транспортных средств. Крупнейший китайский производитель электромобилей BYD, поддержав сделанные ранее анонсы других автопроизводителей, также объявил об использовании архитектуры DRIVE Hyperion на базе Orin для своих автоматизированных электромобилей следующего поколения.
Orin играет ключевую роль и в платформе для медицинских устройств NVIDIA Clara Holoscan, которую производители систем и исследователи используют для разработки инструментов искусственного интеллекта нового поколения.
Компактные размеры – большой стек ПО
Серверы и устройства с графическими процессорами NVIDIA, включая Jetson AGX Orin, стали единственными edge-ускорителями, на которых выполнялись все шесть тестов MLPerf.
Благодаря SDK JetPack, Orin использует полную платформу искусственного интеллекта NVIDIA, которая уже зарекомендовала себя в центрах обработки данных и в облаке. Это стало возможным при поддержке миллиона разработчиков, использующих платформу NVIDIA Jetson.
NVIDIA лидирует по скорости инференса на ускоритель и является единственной компанией, которая представила данные для всех рабочих нагрузок.
NVIDIA и партнеры компании продолжают демонстрировать лучшую производительность во всех тестах и сценариях в новой серии тестов MLPerf для инференса.
Тесты MLPerf пользуются широкой поддержкой таких компаний, как Amazon, Arm, Baidu, Dell Technologies, Facebook, Google, Гарвард, Intel, Lenovo, Microsoft, Стэнфорд и Университет Торонто.
Расширение экосистемы
Платформа искусственного интеллекта NVIDIA снова привлекла наибольшее количество заявок MLPerf от самой широкой экосистемы партнеров.
Повторяя декабрьский успех в обучающих тестах MLPerf, Azure продемонстрировала сильные результаты в новой серии тестов инференса ИИ, с использованием GPU NVIDIA A100 с тензорными ядрами в обоих случаях. Инстанс Azure ND96amsr_A100_v4 показал высокие результаты почти во всех тестах инференса, соответствующие восьми высокопроизводительным GPU, демонстрируя огромную мощь, доступную в облаке.
Производители систем ASUS и H3C дебютировали в MLPerf, отправив заявки на платформу NVIDIA AI. Они присоединились к компаниям Dell Technologies, Fujitsu, GIGABYTE, Inspur, Nettrix и Supermicro, которые представили результаты на более чем 20 систем, сертифицированных NVIDIA.
Программное обеспечение в комплекте
Все программное обеспечение для тестов доступно в репозитории MLPerf.
Два ключевых компонента для тестов инференса — NVIDIA TensorRT для оптимизации моделей ИИ и NVIDIA Triton Inference Server для их эффективного развертывания — доступны бесплатно в каталоге NGC.
Triton используют организации по всему миру, в том числе поставщики облачных услуг, такие как Amazon и Microsoft.
