SiFive, RISC-V 기반 AI 플랫폼에서 ‘BEVFormer’ 실행

미국 RISC-V(리스크 파이브) 기반 반도체 설계 스타트업 SiFive(사이파이브)가 자사의 RISC-V 기반 AI 워크로드 가속 솔루션 ‘Intelligence XM 플랫폼’에서 자율주행 핵심 인공지능 모델인 ‘BEVFormer’의 구동에 성공했다. 이번 성과는 얼리 액세스(early access) 단계의 오픈 아키텍처 플랫폼이 자율주행을 위한 복잡한 인식 워크로드를 효과적으로 처리할 수 있음을 입증한 사례로, 향후 차량용 AI 컴퓨팅 시장에 새로운 가능성을 제시했다는 평가다.

2022년에 도입된 BEVFormer는 자율주행에 필수적인 트랜스포머 기반 BEV(Bird's-Eye-View) 인식 모델이다. 이 모델은 6개의 900x1600 카메라 입력을 200x200 BEV 표현으로 변환해 강력한 3D 객체 인식, 공간 추론, 시간 정보 통합을 가능하게 한다.
 
SiFive는 이 모델을 자사의 얼리 액세스 RISC-V 아키텍처인 ‘Intelligence XM IP’에 성공적으로 이식했다. 이는 고성능 컴퓨팅 성능뿐 아니라, 개방형 표준 기반의 유연성과 확장성 측면에서 RISC-V 기반 하드웨어가 기존 상용 프로세서를 대체할 수 있는 가능성을 보여준다.

XM 플랫폼: RISC-V 벡터 연산과 매트릭스 엔진 결합

자동차 AI 연산에는 높은 성능, 저전력, 특정 작업에 맞춘 맞춤형 설계가 필수적이다. 하지만 기존 독점 프로세서는 폐쇄적인 구조로 인해 유연성이 부족한 경우가 많다. 반면 RISC-V는 공개 표준 명령어 세트 아키텍처(Instruction Set Architecture, ISA)를 통해 사용자 맞춤형 프로세서 설계가 가능하다는 점에서 주목받고 있다.

SiFive의 XM 플랫폼은 이러한 RISC-V ISA 위에 4개의 X 시리즈 코어(각 코어당 1024비트 RISC-V 벡터 유닛 탑재)와 전용 매트릭스 엔진을 통합한 구조다. 각 모듈 간 연산 지연을 줄이고, 이기종 시스템에서 발생할 수 있는 폴백(fallback) 문제를 해결한다. 이 구조는 BEVFormer의 복잡한 연산 구조(컨볼루션 계층, 디포머블 어텐션, 스칼라 연산 등)을 단일 바이너리로 통합 실행하는 데 큰 역할을 했다.
 
최적화 과정: CUDA 코드를 RISC-V로, 오픈소스 스택 활용

SiFive는 얼리 액세스 IP에서 BEVFormer를 실행하기 위해 복잡한 기술적 난제를 해결해야 했다. 이를 위해 IREE (Intermediate Representation Execution Environment) 기반의 SiFive AI/ML 레퍼런스 소프트웨어 스택을 활용해 XM 플랫폼에 맞게 모델을 최적화하고 실행할 수 있도록 했다. 주요 작업 중 하나는 모델 변환이었다. PyTorch 1.9.1과 OpenMMLab 간의 호환성 문제를 해결한 뒤, BEVFormer 모델을 ONNX로 변환하고, 이후 IREE의 iree-import-onnx 도구를 사용해 MLIR (Multi-Level Intermediate Representation)으로 변환했다.

핵심 연산자인 Modulated_Deform_Conv2D와 Multi_Scale_Deformable_Attention은 RISC-V 벡터(RVV) 기반 마이크로커널로 구현되었고, CUDA 커널은 C/C++ 및 RVV 코드로 포팅되었다. 대규모 언어 모델(LLM)을 통해 프로토타이핑 과정을 간소화한 것도 주목할 만하다.
특히 매트릭스 연산 성능을 극대화하기 위해 IREE의 mmt4d 프레임워크를 사용해 BEVFormer의 매트릭스 기반 연산을 SiFive의 전용 매트릭스 엔진에 최적화되도록 매핑했다.

이 파이프라인은 XM 플랫폼을 오픈소스 에뮬레이터인 QEMU로 에뮬레이션하여 nuScenes 데이터셋에서 검증되었으며, 정확도는 PyTorch 베이스라인 모델과 동일한 수준을 유지했다.

오픈 생태계, 자동차 AI 가속화 가능성

SiFive AI/ML 레퍼런스 소프트웨어 스택은 오픈소스 기술에 기반하고 있어, 향후 더 많은 AI 모델로의 확장이 기대된다. SiFive AI 소프트웨어 담당 파벨 추핀(Pavel Chupin) 총괄이사는 “이번 성과는 BEVFormer 모델 자체의 혁신성보다, 복잡한 AI 워크로드를 처리할 수 있는 SiFive Intelligence XM 플랫폼의 역량을 SiFive AI/ML 레퍼런스 소프트웨어 스택을 통해 보여준 데 의미가 있다”고 강조했다. 

SiFive는 현재 커널 튜닝과 코드 생성 최적화를 통해 성능을 지속적으로 개선하고 있으며, BEVFormer 외 다양한 자율주행 및 머신러닝 모델을 대상으로 플랫폼 성능을 검증하고 있다.

---