엔비디아, AI 컴퓨팅 효율 극대화 위해 인텔과 협업
엔비디아 DGX H100 등에 인텔 제온 스케일러블 프로세서 탑재
2023-01-18 온라인기사  / 윤범진 기자_bjyun@autoelectronics.co.kr


엔비디아(NVIDIA)가 인텔과 협력해 AI 컴퓨팅 효율성 극대화에 나선다. 

엔비디아 GPU와 엔비디아 AI 플랫폼으로 구동되는 가속 컴퓨팅은 데이터센터가 지속적으로 차세대 혁신을 이어갈 수 있도록 효율성을 제공한다. 
4세대 인텔 제온 스케일러블(Gen Intel Xeon Scalable) 프로세서는 엔비디아와 인텔이 높은 에너지 효율성을 가진 AI로 구축된 차세대 가속 컴퓨팅 시스템 제작을 가능하게 했다. 엔비디아 H100 텐서 코어(Tensor Core) GPU와 결합된 이 시스템들은 이전 세대보다 뛰어난 성능, 규모, 효율성을 제공해 와트당 더 높은 연산 성능과 문제 해결 능력을 제공한다.

새로운 인텔 CPU는 엔비디아 DGX H100 시스템은 뿐 아니라 전세계 엔비디아 파트너들이 제공하는, H100 GPU를 탑재한 60개 이상의 서버에 사용될 계획이다.

엔터프라이즈용 AI에 향상된 속도와 효율성 제공

엔비디아는 인텔의 새로운 CPU가 탑재된 엔비디아 시스템으로 인해 기업들이 기존 CPU 전용 데이터센터 서버 대비 평균 25배 높아진 효율성으로 워크로드를 실행할 수 있다고 했다. 와트당 제공되는 성능은 작업을 마치는 데 필요한 전력이 적게 소요된다는 뜻이다. 따라서 데이터센터에 쓰이는 전력을 최대한 효율적으로 사용해 가장 중요한 작업에 전력을 할당할 수 있게 해준다.

엔비디아에 따르면, 신세대 엔비디아 가속 서버들은 훈련과 추론 속도를 높이기 때문에 이전 세대 가속 시스템 대비 에너지 효율성을 3.5배 높여준다. 다시 말해 AI 데이터센터는 총 소유 비용(TCO)을 3배 이상 절감한다.

새로운 4세대 인텔 제온 CPU, 데이터 이동 늘려 엔비디아 AI 가속

새로운 4세대 인텔 제온 CPU의 기능 중 하나는 PCIe Gen 5를 지원하는 것이다. PCIe 레인(lane)이 증가하면 각 서버 내에서 GPU와 고속 네트워킹의 밀도가 향상된다. 또한 빨라진 메모리 대역폭으로 AI처럼 데이터 집약적인 워크로드의 성능을 향상시킨다. 여기에 연결 당 최대 400 Gbps(초당 기가비트)의 네트워킹 속도로 서버와 스토리지 간의 데이터 전송 속도를 높였다.

H100 PCIe GPU를 탑재한 엔비디아 DGX H100 시스템과 엔비디아 파트너가 제공하는 서버들은 AI 개발 및 배포 소프트웨어의 엔드 투 엔드, 안전한 클라우드 네이티브 제품군인 엔비디아 AI 엔터프라이즈 라이선스와 함께 효율적인 기업용 AI의 우수성을 위한 플랫폼을 제공한다.

초대형 AI를 위해 효율성 극대화하는 엔비디아 DGX H100 시스템

목적 기반 AI 인프라인 4세대 엔비디아 DGX H100 시스템은 가속 데이터센터의 운영체제인 엔비디아 베이스 코멘드(Base Command) 소프트웨어를 기반으로 완전히 최적화된 플랫폼을 제공한다.

DGX H100 시스템에는 각각 8개의 엔비디아 H100 GPU, 10개의 엔비디아 ConnectX-7 네트워크 어댑터 및 듀얼 4세대 인텔 제온 스케일러블 프로세서를 갖추고 있다. 따라서 대규모 생성 AI 모델, 대형 언어 모델, 추천 시스템 등을 구축하는 데 필요한 성능을 제공한다.

엔비디아 네트워킹과 결합된 이 시스템은 이전 세대보다 최대 9배 더 높은 성능을 제공한다. 또한 AI 훈련 및 HPC 워크로드에 대해 가속화되지 않은 X86 듀얼 소켓 서버보다 20배에서 40배 더 높은 성능을 제공해 규모에 맞게 컴퓨팅을 효율적으로 만든다. 이전에는 언어 모델을 X86 전용 서버 클러스터에서 훈련시키는 데 40일이 필요했지만, 인텔 제온 CPU와 ConnectX-7 구동 네트워킹을 사용하는 엔비디아 DGX H100에서는 동일한 작업을 완료하는 데는 하루나 이틀이 소요된다.

엔비디아 DGX H100 시스템은 엔터프라이즈용 턴키(turnkey) 엔비디아 DGX SuperPOD의 구성요소로, 최대 1 엑사플롭(exaflop)의 AI 성능을 낼 수 있어 대규모 엔터프라이즈 AI 구축에 효율성을 제공한다.

데이터센터의 효율성을 향상

AI 데이터센터 워크로드의 경우, 기업들은 엔비디아H100 GPU를 통해 애플리케이션을 효율적으로 구축하고 배포할 수 있다.
H100 GPU와 4세대 인텔 제온 스케일러블 CPU를 갖춘 시스템들은 에이수스(ASUS), 아토스(Atos), 시스코(Cisco), 델 테크놀로지스(Dell Technologies), 후지쯔(Fujitsu), 기가바이트(GIGABYTE), 휴렛팩커드 엔터프라이즈(Hewlett Packard Enterprise), 레노버(Lenovo), QCT, 슈퍼마이크로(Supermicro), 인스퍼(Inspur) 등의 엔비디아 파트너에서 곧 출시될 예정이다.

엔비디아 H100 GPU를 탑재한 플랫아이언 연구소(Flatiron Institute)의 레노버 씽크 시스템(Lenovo Think System)은 최근 에너지 효율성이 뛰어난 슈퍼 컴퓨터 순위를 평가하는 그린500(Green500)에서 1위를 차지했으며, 엔비디아 기술은 상위 30개 시스템 중 23위를 차지했다.

서버가 엔비디아 커넥트X-7(ConnectX-7) 네트워킹과 인텔 4세대 제온 스케일러블 프로세서와 연결되면 효율성이 향상되고 인프라와 전력 소비가 감소된다.

엔비디아 커넥트X-7 어댑터는 이더넷(Ethernet)이나 인피니밴드(InfiniBand)를 사용해 연결 당 PCIe Gen 5와 400 Gbps를 지원한다. 이를 통해 서버와 스토리지 간의 네트워킹 처리량을 두 배로 늘린다. 어댑터는 고급 네트워킹, 스토리지, 보안 오프로드를 지원한다. 커넥트X-7은 필요한 케이블과 스위치 포트의 수를 줄여 대형 GPU 가속 HPC와 AI 클러스터의 네트워킹에 필요한 전기를 17% 이상 절약하고 새로운 서버의 에너지 효율성을 향상시킨다.

풀스택 AI 솔루션을 제공하는 엔비디아AI 엔터프라이즈 소프트웨어

엔비디아 H100에서 실행되는 엔비디아 AI 엔터프라이즈는 데이터사이언스 파이프라인을 가속화하고 예측 AI 모델의 개발 및 배포를 간소화해 필수적인 프로세스를 자동화하며, 데이터로부터 빠른 인사이트를 제공한다.

해당 소프트웨어는 참조 애플리케이션, 프레임워크, 사전 훈련된 모델 및 인프라 최적화에 관여된 AI 워크플로 등의 광범위한 풀스택 소프트웨어 라이브러리를 통해 엔터프라이즈용 AI를 확장시키는 데 필요한 기반을 제공한다.



AEM_Automotive Electronics Magazine


<저작권자(c)스마트앤컴퍼니. 무단전재-재배포금지>


  • 100자평 쓰기
  • 로그인


  • 세미나/교육/전시

TOP