Abstract
딥 러닝 워크로드의 계산 수요는 잘 알려져 있으며, 이는 GPU 또는 전용 하드웨어 가속기와 같은 강력한 병렬 컴퓨팅 플랫폼의 주요 동기입니다. 이러한 워크로드의 엄청난 고유 병렬성은 주어진 작업에 대해 더 많은 컴퓨팅 하드웨어를 제공함으로써 더 높은 성능을 추출할 수 있게 합니다. 이 전략은 단일 시스템에 가능한 한 많은 병렬 컴퓨팅 유닛을 통합하여 DNN 워크로드를 위한 고성능 하드웨어를 구축하는 데 직접 활용될 수 있습니다. 이 전략을 스케일 업이라고 합니다. 또는 여러 하드웨어 시스템을 하나의 문제에 대해 작동하도록 배열하는 것이 가능하며, 이는 주어진 병렬성을 활용하기 위한 더 저렴한 대안일 수 있습니다. 즉, 스케일 아웃이라고 합니다. DNN 기반 솔루션이 점점 더 보편화됨에 따라 계산 수요도 증가하고 있으며, 스케일링 선택(스케일 업 대 스케일 아웃)은 매우 중요해지고 있습니다. 이 설계 공간을 연구하기 위해 본 연구는 두 가지 주요 기여를 합니다. (i) 우리는 주어진 워크로드에 대해 칩 내 메모리 액세스, 실행 시간 및 DRAM 대역폭 요구 사항을 모델링하여 스케일 업 및 스케일 아웃 시스템을 모델링하는 체계적 배열에서 DNN 추론을 위한 사이클 정밀 시뮬레이터인 SCALE-SIM을 설명합니다. (ii) 우리는 또한 주어진 워크로드에 대한 하드웨어 제약 조건(e.g., TOPS 및 DRAM 대역폭)에 따라 최적의 스케일 업 대 스케일 아웃 비율을 추정하기 위한 분석 모델을 제시합니다. 우리는 신중한 스케일링 선택이 주어진 DRAM 대역폭 내에서 레이어당 최대 50의 성능 향상을 가져올 수 있음을 관찰합니다. 본 연구는 성능, DRAM 대역폭 및 에너지에 대한 트레이드 오프 공간을 입증하고 분석하며, 다양한 워크로드 및 하드웨어 구성에 대한 최적 지점을 식별합니다.
Figure
figure 1
figure 2
figure 3
figure 4
figure 5
figure 6
figure 7
figure 9
figure 10
figure 11
figure 12
figure 13
figure 14
Table
table I
table II
table III
table IV
