Abstract
신경망은 이미지 인식, 음성 인식 및 자연어 처리와 같은 다양한 응용 분야에서 최첨단 성능을 달성하면서 빠르게 지배적인 알고리즘이 되었습니다. 그러나 신경망은 더 깊고 큰 아키텍처로 이동하면서 막대한 양의 데이터와 연산에 큰 도전을 제기하고 있습니다. 희소성은 연산 강도와 메모리 접근을 직접적으로 줄이기 위한 효과적인 해결책으로 등장했지만, 희소성으로 인한 불규칙성(희소 시냅스 및 뉴런 포함)은 가속기가 그 이점을 완전히 활용하는 것을 방해하고, 가속기에 비용이 많이 드는 인덱싱 모듈을 도입합니다. 이 논문에서는 희소 신경망의 불규칙성을 효율적으로 해결하기 위해 협력적인 소프트웨어/하드웨어 접근 방식을 제안합니다. 초기에는 훈련 중에 큰 가중치가 작은 클러스터로 모이는 현지 수렴을 관찰합니다. 이러한 주요 관찰을 바탕으로 소프트웨어 기반의 거친 입자 수준 가지치기 기법을 제안하여 희소 시냅스의 불규칙성을 크게 줄입니다. 거친 입자 수준 가지치기 기법은 지역 양자화와 함께 인덱스 크기를 크게 줄이고 네트워크 압축 비율을 향상시킵니다. 우리는 또한 남은 희소 시냅스와 뉴런의 불규칙성을 효율적으로 해결하기 위해 Cambricon-S라는 하드웨어 가속기를 설계합니다. 이 혁신적인 가속기는 불필요한 시냅스와 뉴런을 필터링하는 셀렉터 모듈을 특징으로 합니다. 최첨단 희소 신경망 가속기와 비교할 때, 우리의 가속기는 성능과 에너지 효율성 면에서 각각 1.71배 및 1.37배 더 우수합니다.
Figure
figure 1
figure 2
figure 3
figure 4
figure 6
figure 7
figure 8
figure 9
figure 10
figure 11
figure 12
figure 13
figure 14
figure 15
figure 16
figure 17
figure 18
figure 19
figure 21
Table
table I
table II
table III
table IV
table VI
table VII
