[TVLSI'24] Pengbo Yu, et.al.

An Energy Efficient Soft SIMD Microarchitecture and Its Application on Quantized CNNs

Pengbo Yu, et.al. on June 1, 2024
doi.org
obsidian에서 수정하기

Abstract

오늘날의 응용 프로그램, 예를 들어 기계 학습(ML) 알고리즘의 증가하는 계산 복잡성과 에너지 소비는 기본 하드웨어의 능력을 압박할 뿐만 아니라 엣지에서의 광범위한 배포를 크게 제한합니다. 이러한 문제를 해결하기 위해 알고리즘이 노출한 기회를 활용한 새로운 아키텍처 솔루션이 필요합니다. 예를 들어, 작은 비트 너비 피연산자 양자화에 대한 견고성과 높은 고유 데이터 수준 병렬성입니다. 그러나 전통적인 하드웨어 단일 명령 다중 데이터(Hard SIMD) 아키텍처는 제한된 피연산자 비트 너비만 지원하여 성능 향상을 제한합니다. 이러한 격차를 해소하기 위해, 이 논문은 실행 시 제어 명령을 통해 임의의 SIMD 모드를 정의할 수 있는 소프트웨어 정의 SIMD(Soft SIMD) 패러다임을 기반으로 한 산술 연산용 새로운 파이프라인 프로세서 마이크로아키텍처를 소개합니다. 이 마이크로아키텍처는 쉬프트/더하기와 같은 병렬 미세 그레인 고정 소수점 산술에 최적화되어 있습니다. 또한, 제로 건너뛰기 및 정규화된 부호 디지털(CSD) 코딩 덕분에 SIMD 서브워드에서 순차적 쉬프트-더하기 기반 곱셈을 효율적으로 실행할 수 있습니다. 경량화된 재패킹 유닛은 서브워드 비트 너비를 동적으로 변경할 수 있게 합니다. 이러한 기능들은 에너지와 면적 예산 내에서 구현됩니다. 성능 평가를 위해 후합성(Post-Synthesis)을 통해 에너지 소비 모델이 설정되었습니다. 우리는 ML 도메인에서 이종적으로 양자화된(HQ) 합성곱 신경망(CNN)을 벤치마크로 선택하고 이를 우리의 마이크로아키텍처에 매핑했습니다. 실험 결과, 우리의 접근 방식이 면적과 에너지 요구 사항에 대해 전통적인 Hard SIMD 곱셈기-더하기보다 훨씬 뛰어남을 보여줍니다. 특히, 우리의 마이크로아키텍처는 더 적은 SIMD 비트 너비를 지원하는 Hard SIMD보다 최대 59.9% 적은 면적을 차지하며, HQ CNN을 실행하는 데 평균적으로 최대 50.1% 적은 에너지를 소비합니다.

Figure

figure 1 figure 1

figure 2 figure 2

figure 3 figure 3

figure 4 figure 4

figure 5 figure 5

figure 6 figure 6

figure 7 figure 7

figure 8 figure 8

figure 9 figure 9

figure 10 figure 10

figure 11 figure 11

figure 12 figure 12

figure 13 figure 13

figure 14 figure 14

figure 15 figure 15

figure 16 figure 16

figure 17 figure 17

Table

table I table I

table II table II

table III table III

table IV table IV

table V table V

table VI table VI

table VII table VII