Abstract
초해상도(SR) 기술은 저화질 이미지에서 고화질 이미지를 생성하는 데 사용됩니다. 다양한 신경망은 SR 가속기에서 뛰어난 이미지 재구성 품질을 입증했습니다. 그러나 SR 네트워크를 엣지 디바이스에 배포하는 것은 알고리즘 매개변수, 계산 복잡성 및 외부 메모리 접근으로 인한 자원 및 전력 소비로 인해 제한됩니다. 이 연구는 하드웨어 알고리즘 공동 설계 기술을 탐구하여 경량의 초해상도 네트워크(LSR)와 효율적이고 고품질의 SR 가속기 HDSuper를 포함하는 종단 간 플랫폼을 제공합니다. 알고리즘 설계를 위해, 하드웨어 제약을 고려하여 네트워크 크기와 계산 복잡성을 줄이기 위해 개선된 깊이별 분리 합성곱과 픽셀 셔플 레이어가 개발되었습니다. 또한, 개선된 채널 주의(CA) 블록은 이미지 재구성 품질을 향상시킵니다. 하드웨어 가속기 설계를 위해, 다양한 연산자를 높은 계산 활용도로 지원하기 위해 효율적인 평면화 및 할당(F-A) 매핑 전략과 결합된 통합 컴퓨팅 코어(UCC)를 설계했습니다. 또한, 하드웨어 아키텍처의 외부 메모리 접근을 줄이기 위해 패치 컴퓨팅 방식을 설계했습니다. 평가 결과, 제안된 알고리즘은 <37.44dB PSNR>로 고품질 이미지 재구성을 달성합니다. 마지막으로, FPGA 시연과 UMC 55nm에서의 ASIC 레이아웃은 최신 기술과 비교하여 가장 낮은 하드웨어 자원으로 낮은 전력 소비(<2.08 W 및 152 mW>)를 달성합니다.
Figure
figure 1
figure 2
figure 3
figure 4
figure 5
figure 6
figure 7
figure 8
figure 9
figure 10
figure 11
figure 12
figure 13
figure 14
figure 15
figure 16
figure 17
Table
table I
table II
table III
table IV
table V
