최신 MLPerf AI 벤치마크에서 주도권을 잡은 엔비디아

 

최신 MLPerf AI 벤치마크에서 주도권을 잡은 추론

인공지능은 산업을 의료 및 제조에서 운송 및 금융으로 변화시키고 있습니다. 그러나 실제 애플리케이션에 AI 모델을 배치하려면 교육 및 추론 워크로드 요구 사항을 충족할 수 있는 고성능 컴퓨팅 인프라가 필요합니다.

AI의 개발과 채택을 가속화하려면 연구자와 업계 리더가 협력하여 효율적이고 정확한 AI 워크로드를 규모에 맞게 지원하는 도구와 표준을 만들어야 합니다. 그것이 바로 머신 러닝 시스템의 성능을 측정하기 위한 공정하고 유용한 벤치마크를 개발하기 위해 노력하는 70개 이상의 단체인 MLPerf 컨소시엄의 목표입니다.

오늘 발표된 최신 MLPerf AI 벤치마크는 훈련된 모델을 사용하여 새로운 데이터를 기반으로 예측하는 프로세스인 추론에 중점을 둡니다. 추론은 자연어 처리 및 이미지 인식에서 사기 탐지 및 추천 엔진에 이르기까지 많은 AI 애플리케이션의 중요한 구성 요소입니다.

벤치마크는 데이터 센터, 에지 및 모바일의 세 가지 하드웨어 범주에 걸쳐 6개의 서로 다른 추론 시나리오의 처리량(초당 예측할 수 있는 수)과 대기 시간(예측할 수 있는 속도)을 측정합니다.

NVIDIA 기반 시스템이 6개 벤치마크 모두에서 1위를 차지하며 AI 워크로드를 위한 고성능 컴퓨팅 솔루션을 제공하는 데 있어 회사의 리더십을 입증했습니다. NVIDIA의 텐서NVIDIA의 AI 소프트웨어 플랫폼에 포함된 RT™ 추론 옵티마이저와 런타임 소프트웨어는 최고 성능의 결과를 가능하게 했습니다.

데이터 센터 범주에서 NVIDIA A100 Tensor Core GPU는 서버 및 오프라인 시나리오 모두에서 가장 높은 처리량을 달성한 반면 NVIDIA T4 GPU는 두 시나리오 모두에서 최고의 대기 시간 결과를 달성했습니다.

소형 에지 컴퓨팅 시스템인 NVIDIA Jetson™ Xavier™ NX는 에지 및 모바일 범주에서 최고의 처리량과 최저의 대기 시간 결과를 제공했습니다. 고성능 에지 컴퓨팅 시스템인 NVIDIA Jetson AGX Xavier™는 에지 범주에서 가장 높은 처리량을 달성했습니다.

MLPerf 벤치마크는 연구원, 개발자 및 기업이 다양한 하드웨어 구성에 대해 AI 워크로드를 최적화하기 위해 노력할 때 유용한 도구입니다. NVIDIA가 벤치마크에서 지속적으로 리더십을 발휘하는 것은 AI 분야를 발전시키고 규모에 맞게 AI를 채택할 수 있도록 하겠다는 회사의 의지를 반영합니다.

NVIDIA 블로그에서 MLPerf AI 벤치마크 및 NVIDIA 결과에 대해 자세히 알아보십시오.

 

Inference Takes the Lead in Latest MLPerf AI Benchmarks

AI is transforming industries from healthcare and manufacturing to transportation and finance. But deploying AI models in real-world applications requires high-performance computing infrastructure that can keep up with the demands of training and inference workloads.

To accelerate the development and adoption of AI, researchers and industry leaders must collaborate to create tools and standards that enable efficient and accurate AI workloads at scale. That’s the goal of the MLPerf consortium, a group of more than 70 organizations working to develop fair, useful benchmarks for measuring the performance of machine learning systems.

The latest MLPerf AI benchmarks, released today, focus on inference, the process of using trained models to make predictions based on new data. Inference is a critical component of many AI applications, from natural language processing and image recognition to fraud detection and recommendation engines.

The benchmarks measure the throughput (how many predictions can be made per second) and latency (how quickly predictions can be made) of six different inference scenarios across three categories of hardware: data center, edge, and mobile.

NVIDIA-powered systems swept the top spots in all six benchmarks, demonstrating the company’s leadership in delivering high-performance computing solutions for AI workloads. NVIDIA’s TensorRT™ inference optimizer and runtime software, which is included in NVIDIA’s AI software platform, helped enable the top-performing results.

In the data center category, NVIDIA A100 Tensor Core GPUs achieved the highest throughput for both the server and offline scenarios, while NVIDIA T4 GPUs achieved the best latency results for both scenarios.

NVIDIA Jetson™ Xavier™ NX, a compact edge computing system, delivered the highest throughput and lowest latency results for the edge and mobile categories. NVIDIA Jetson AGX Xavier™, a higher-performance edge computing system, achieved the highest throughput in the edge category.

The MLPerf benchmarks are a valuable tool for researchers, developers, and enterprises as they work to optimize their AI workloads for different hardware configurations. NVIDIA’s continued leadership in the benchmarks reflects the company’s commitment to advancing the field of AI and enabling the adoption of AI at scale.

Read more about the MLPerf AI benchmarks and NVIDIA’s results on the NVIDIA blog.