Archive

Summary : 본 연구는 경량의 초해상도 네트워크(LSR)와 효율적이고 고품질의 SR 가속기 HDSuper를 포함하는 종단 간 플랫폼을 제공하기 위해 하드웨어 알고리즘 공동 설계 기술을 탐구하며, 다양한 연산자를 높은 계산 활용도로 지원하기 위해 효율적인 평면화 및 할당(F-A) 매핑 전략과 결합된 통합 컴퓨팅 코어(UCC)를 설계합니다.

Summary : 하드웨어와 계산의 기능을 모두 활용하여 Versal ACAP 아키텍처에서 균일한 반복을 가속화하는 것을 목표로 하는 WideSA라는 매핑 체계를 제안하고 자동 매핑 프레임워크를 도입합니다.

Summary : 고급 종속성 분석과 광범위한 FPGA 지향 루프 변환을 가능하게 하는 다단계 중간 표현(MLIR)에 기반한 엔드투엔드 최적화 프레임워크인 '다단계 중간 표현(MLIR)'을 제안

Summary : 구조적으로 구조적 희소성이 완화된 넓은 블록에서 작동하는 가속기를 설계하여 DL 모델의 더 넓은 범위의 희소성을 목표로 하며, 세밀하고 완화된 구조적 희소성을 위해 구축된 현재의 최신 수축기 배열 엔진보다 지연 시간이 크게 개선되었음을 입증합니다.

Summary : 데이터 흐름을 액세스 입력과 데이터 레이아웃이라는 두 가지 낮은 수준의 중간 표현으로 분해하여 구조 분석과 체계적인 탐색이 가능한 PE 상호 연결 및 메모리 구조와 같은 하드웨어 구현 세부 사항을 추론

Summary : Rubick은 데이터 흐름을 액세스 입력과 데이터 레이아웃을 포함한 두 가지 낮은 수준의 중간 표현으로 분해하여 효율적인 DSE를 제공하고 최적화된 하드웨어를 생성

Summary : FP32, INT16, INT8 데이터 유형에 대해 각각 3.7 TFLOP, 7.5 TOP, 28.2 TOP을 달성하는 Versal의 MM 가속기 설계를 체계적으로 생성할 수 있는 자동 화이트박스 프레임워크인 AutoMM이 제공됩니다.

Summary : Tensorlib은 다양한 텐서 대수 프로그램에 대해 서로 다른 데이터 흐름을 가진 하드웨어 설계를 자동으로 생성할 수 있으며, 최첨단 제너레이터보다 뛰어난 318MHz 주파수와 786GFLOP/s 처리량을 달성할 수 있는 Xilinx VU9P FPGA에 대한 성능을 입증했습니다.

Summary : LLMs를 활용하여 자연어 사양에서 하드웨어 논리 설계를 생성하는 자동화된 설계 환경을 시연, 사전 연구 및 기존 LLMs 단독 사용보다 더 넓은 설계 최적화 공간을 보여줌

Summary : 애플리케이션 내의 다양한 크기의 작은 MM 레이어와 하나의 모놀리식 가속기의 방대한 계산 자원 간의 불일치로 인해 발생하는 시스템 처리량의 가장 큰 병목 현상을 식별하고, 애플리케이션 내의 다양한 레이어를 동시에 처리하기 위해 여러 다양한 MM 가속기 아키텍처를 구성하는 CHARM 프레임워크를 제안합니다.

Summary : 하드웨어 합성 방법론에 대한 통합된 중간 표현을 제공하는 2단계 IR인 Hector는 최첨단 HLS 툴에서 생성되는 것과 비슷하며 성능과 생산성 면에서 HLS 구현을 능가할 수 있습니다.

Summary : C++ 태스크 병렬 데이터플로우 프로그램을 고주파수 FPGA 가속기로 컴파일하는 종단 간 프레임워크인 TAPA를 제안, HLS 컴파일 중 잠재적인 임계 경로의 정확한 파이프라이닝을 위해 거친 입자 수준의 플로어플래닝 단계를 채택

Summary : 공간 가속기의 메모리 서브시스템을 최적화하는 프레임워크, 공간-시간 변환을 사용하여 1. 재사용 분석을 통해 데이터 레이아웃, 데이터 매핑, 메모리 액세스 컨트롤러를 자동생성, 2. 직접 연결, 멀티캐스트 연결, 회전 연결 등 다양한 PE-메모리 상호연결 토폴로지를 생성함

Summary : 알고리즘 사양과 맞춤형 메모리 계층 구조 전반의 데이터 배치 조율과 관련된 최적화를 분리하고 오픈 소스 HeteroCL DSL 및 컴파일 프레임워크 위에 구축되는 FPGA 가속기 프로그래밍 모델인 HeteroFlow가 제안되었습니다.

Summary : Sextans 가속기는 온칩 메모리를 사용한 빠른 랜덤 액세스, 오프칩 대용량 행렬에 대한 스트리밍 액세스, II=1 파이프라인으로 균형 잡힌 워크로드를 위한 PE 인식 비제로 스케줄링, 범용 가속기로서 다양한 크기의 SpMM을 지원하기 위해 하드웨어를 한번 프로토타이핑할 수 있는 하드웨어 유연성 등을 특징으로 합니다.

Summary : 이 작업에서는 Union11이라는 공간 가속기를 위한 HW-SW 코드 설계 에코시스템을 소개하고, 다양한 매핑 체계를 사용하여 다양한 가속기 아키텍처에서 서로 다른 텐서 연산을 오프로드하는 여러 사례 연구를 통해 커뮤니티를 위한 Union의 가치를 입증합니다.

Summary : S2TA is described, a systolic array-based CNN accelerator that exploits joint weight and activation DBB sparsity and new dimensions of data reuse unavailable on the traditional syStolic array.

Summary : 최첨단 경직 및 유연 DNN 추론 가속기를 위한 사이클 레벨 마이크로아키텍처 시뮬레이터인 STONNE은 모든 상위 DNN 프레임워크에 가속기 장치로 연결하여 조밀하고 희박한 실제 수정되지 않은 DNN 모델의 전체 모델 평가를 수행할 수 있는 기능을 선보입니다.

Summary : 이 연구는 16 및 8비트 부동 소수점과 4 및 2비트 고정 소수점의 다양한 정밀도를 지원하는 4코어 AI 가속기 칩인 RaPiD 1을 설계하고, 4개의 32코어 RaPiD 칩으로 구성된 768 TFLOPs AI 시스템에 대한 DNN 추론 및 DNN 훈련을 평가했습니다.

Summary : EfficientNet과 BERT를 포함한 최첨단 비전 및 자연어 처리(NLP) 모델의 병목 현상을 분석하고 이러한 병목 현상을 해결할 수 있는 가속기를 설계하기 위해 FAST를 사용하며, FAST로 생성된 가속기가 중간 규모의 데이터센터 배포에 실용적일 수 있음을 보여줍니다.

Summary : CoSA는 DNN 연산자와 하드웨어의 규칙성을 활용하여 DNN 스케줄링 공간을 알고리즘 및 아키텍처 제약 조건이 있는 혼합 정수 프로그래밍(MIP) 문제로 공식화하여 한 번에 매우 효율적인 스케줄을 자동으로 생성할 수 있습니다.

Summary : 텐서 계산을 위한 하드웨어 데이터 흐름을 수식적으로 설명하는 관계 중심 표기법이 도입되어 보다 정교한 아핀 변환을 사용하여 계산 중심 및 데이터 중심 표기법보다 표현력이 뛰어나고 데이터 재사용, 대역폭, 지연 시간 및 에너지를 포함한 정확한 메트릭 추정을 본질적으로 지원합니다.

Summary : 이 연구에서는 고밀도 텐서 연산에 효율적인 HW/SW 솔루션을 제공하는 애자일 공동 설계 접근 방식인 HASCO를 제안하고 하드웨어 최적화를 탐색하기 위한 다목적 베이지안 최적화 알고리즘을 개발합니다.

Summary : 공간 하드웨어 아키텍처의 개발 및 최적화를 위한 생산성을 획기적으로 개선하여 성능, 면적, 전력의 절충점을 갖춘 풍부한 설계 공간을 제공합니다.

Summary : 다면체 프레임워크를 기반으로 FPGA에서 수축 어레이를 생성하기 위한 엔드투엔드 컴파일 프레임워크인 AutoSA를 소개하고, 성능을 향상시키기 위해 다양한 차원의 최적화 세트를 추가로 통합합니다.

Summary : 이기종 데이터 흐름 가속기(HDA)는 RDA보다 더 높은 에너지 효율과 낮은 면적 비용으로 더 세밀한 데이터 흐름 유연성을 제공하며, 하드웨어 파티셔닝과 레이어 스케줄링을 공동 최적화하는 프레임워크인 Herald를 소개합니다.

Summary : SuSy는 도메인 특화 언어(DSL)와 컴파일 플로우로 구성된 프로그래밍 프레임워크로, 프로그래머가 FPGA에서 고성능 시스톨릭 어레이를 생산적으로 구축할 수 있게 해주며, 전문가가 최적화한 수동 설계 성능에 근접하면서도 코드 라인 수는 30배 적게 사용할 수 있습니다.

Summary : 매우 유연한 map-space를 구성하고 GAMMA가 공간을 탐색하고 높은 샘플 효율로 최적화된 매핑을 결정할 수 있음을 보여주며, 널리 사용되는 여러 최적화 방법과 GAMMA를 정량적으로 비교하여 GAMMA가 일관되게 더 나은 솔루션을 찾는 것을 관찰합니다.

Summary : 병목지점 안내 그래디언트 옵티마이저를 활용하여 더 나은 설계 지점을 체계적으로 찾고, 각 단계에서 설계의 병목지점을 찾아 영향력이 큰 파라미터에 집중하여 이를 극복하는 자동화된 DSE 프레임워크인 AutoDSE가 통합되어 전문가가 접근하는 것과 같은 방식으로 설계를 진행할 수 있습니다.

Summary : This work demonstrates and analyzes the trade-off space for performance, DRAM bandwidth, and energy, and identifies sweet spots for various workloads and hardware configurations, and observes that a judicious choice of scaling can lead to performance improvements as high as 50 per layer, within the availableDRAM bandwidth.

Summary : The SW/HW design-space for Distributed Training over a hierarchical scale-up fabric is established, the promise of algorithm-topology co-design for speeding up end to end training is demonstrated, and a network simulator is developed for navigating the design-space.

Summary : An analytical cost model, MAESTRO, that analyzes various forms of data reuse in an accelerator based on inputs quickly and generates more than 20 statistics including total latency, energy, throughput, etc., as outputs is proposed.

Summary : dMazeRunner 프레임워크는 주어진 아키텍처에서 컨볼루션과 행렬 곱셈을 가속화하기 위한 실행 방법을 최적화하고, CNN 모델을 효율적으로 실행하기 위한 데이터플로우 가속기 설계를 탐색할 수 있게 해줍니다.

Summary : 재구성 가능한 가속기를 위한 하드웨어/소프트웨어 공동 설계 프로세스를 자동화하는 DSAGEN 프레임워크 개발에 사용된 공간 아키텍처의 하드웨어 기본 요소, 특히 소수의 하드웨어 기본 요소를 구성함으로써 이전의 많은 가속기 아키텍처를 근사화할 수 있다는 통찰을 얻게 되었습니다.

Summary : FlexTensor는 인간의 개입 없이 텐서 계산 프로그램을 최적화할 수 있으며, 프로그래머가 하드웨어 플랫폼의 세부 사항을 고려하지 않고도 고수준의 프로그래밍 추상화 작업만 할 수 있게 합니다.

Summary : SIGMA is proposed, a flexible and scalable architecture that offers high utilization of all its processing elements (PEs) regardless of kernel shape and sparsity, and includes a novel reduction tree microarchitecture named Forwarding Adder Network (FAN).

Summary : A scalable DNN accelerator consisting of 36 chips connected in a mesh network on a multi-chip-module (MCM) using ground-referenced signaling (GRS) enables flexible scaling for efficient inference on a wide range of DNNs, from mobile to data center domains.

Summary : The proposed AutoDNNchip is a DNN chip generator that can automatically produce both FPGA- and ASIC-based DNNChip implementation from DNNs developed by machine learning frameworks without humans in the loop and can achieve better performance than that of expert-crafted state-of-the-art FPGAs and ASICs.

Summary : MAGNet, a modular accelerator generator for neural networks, is proposed and an inference accelerator optimized for image classification application using three different neural networks—AlexNet, ResNet, and DriveNet is designed.

Summary : The ExTensor accelerator is proposed, which builds these novel ideas on handling sparsity into hardware to enable better bandwidth utilization and compute throughput and evaluated on several kernels relative to industry libraries and state-of-the-art tensor algebra compilers.

Summary : A novel pruning algorithm is devised to improve the workload balance and reduce the decoding overhead of the sparse neural networks and new instructions and micro-architecture optimization are proposed in Tensor Core to adapt to the structurally sparse Neural networks.

Summary : 이 연구에서는 대규모 컴퓨팅 및 온칩 스토리지가 필요한 애플리케이션 영역인 딥 러닝 추론에 세분화된 칩렛이 있는 MCM을 사용할 때의 비용과 이점을 조사하고 정량화하며, 데이터 로컬리티를 개선하는 세 가지 타일링 최적화 방법을 소개합니다.

Summary : SparTen is proposed which achieves efficient inner join in sparse CNNs by providing support for native two-sided sparse execution and memory storage and to tackle load imbalance, SparTen employs a software scheme, called greedy balancing, which groups filters by density via two variants.

Summary : ASV is described, an accelerated stereo vision system that simultaneously improves both performance and energy-efficiency while achieving high accuracy, and a new stereo algorithm, invariant-based stereo matching (ISM), that achieves significant speedup while retaining high accuracy.

Summary : This work presents a scalable deep neural network accelerator consisting of 36 chips connected in a mesh network on a multi-chip-module (MCM) using ground-referenced signaling (GRS), which enables flexible scaling for efficient inference on a wide range of DNNs, from mobile to data center domains.

Summary : This work presents buffets, an efficient and composable storage idiom for the needs of accelerators that is independent of any particular design, and implements buffets in RTL and shows that they only add 2% control overhead over an 8KB RAM.

Summary : 프로그래머가 공간 매핑에서 기능 사양을 분리하여 동일한 기능에 대한 다양한 공간 최적화를 빠르게 탐색할 수 있도록 FPGA 및 CGRA를 비롯한 공간 아키텍처에서 고밀도 텐서 커널을 위한 고성능 수축기 배열을 생산적으로 생성하기 위한 언어 및 컴파일 프레임워크입니다.

Summary : Timeloop's underlying models and algorithms are described in detail and results from case studies enabled by Timeloop are shown, which reveal that dataflow and memory hierarchy co-design plays a critical role in optimizing energy efficiency.

Summary : 실험 결과에 따르면 프로그래머는 알고리즘 코드를 그대로 유지하면서 다양한 유형의 하드웨어 커스터마이징을 결합하고 공간 아키텍처를 타겟팅하여 성능과 정확도 측면에서 설계 공간을 효율적으로 탐색할 수 있습니다.

Summary : A novel approach that “mines” the unexploited opportunity of on-chip data reusing by introducing the abstraction of logical buffers to address the lack of flexibility in existing buffer architecture, and proposing a sequence of procedures which can effectively reuse both shortcut and non-shortcut feature maps.

Summary : PolySA는 최근의 하이레벨 합성 기술을 활용하여 FPGA에서 고성능 systolic array 아키텍처를 생성하기 위한 최초의 완전 자동화된 컴파일 프레임워크로, 최첨단 수동 설계에 필적하는 성능으로 1시간 이내에 최적의 설계를 생성할 수 있습니다.

Summary : A software-based coarse-grained pruning technique, together with local quantization, significantly reduces the size of indexes and improves the network compression ratio and a hardware accelerator is designed to address the remaining irregularity of sparse synapses and neurons efficiently.

Summary : 반복적인 계산 패턴을 활용하여 개별 마이크로프로그램을 생성하고, 이를 SIMD 모드에서 동시에 실행함으로써 GANAX의 통일된 MIMD-SIMD 설계를 제안함. 또한 각 개별 피연산자의 계산의 가장 미세한 세분화까지 접근-실행 아키텍처의 개념을 확장.

Summary : This work introduces a set of data-centric directives to concisely specify the DNN dataflow space in a compiler-friendly form and codifies this analysis into an analytical cost model, MAESTRO (Modeling Accelerator Efficiency via Patio-Temporal Reuse and Occupancy), that estimates various cost-benefit tradeoffs of a dataflow including execution time and energy efficiency for a DNN model and hardware configuration.

Summary : This work introduces a set of data-centric directives to concisely specify the space of DNN dataflows in a compilerfriendly form and codifies this analysis into an analytical cost model, MAESTRO (Modeling Accelerator Efficiency via Spatio-Temporal Reuse and Occupancy), that estimates various cost-benefit tradeoffs of a dataflow including execution time and energy efficiency for a DNN model and hardware configuration.

Summary : 티라미수는 이미지 처리, 스텐실, 선형 대수 및 딥 러닝 분야를 위해 설계된 새로운 명령어를 통해 이러한 시스템을 대상으로 할 때 발생하는 복잡성을 명시적으로 관리할 수 있는 스케줄링 언어를 도입했습니다.

Summary : OuterSPACE는 확장성이 뛰어나고 에너지 효율적이며 재구성이 가능한 설계로, 대규모 병렬 단일 프로그램 다중 데이터(SPMD) 스타일 처리 장치, 분산 메모리, 고속 크로스바, 고대역폭 메모리(HBM)로 구성되어 있습니다.

Summary : MAERI is a DNN accelerator built with a set of modular and configurable building blocks that can easily support myriad DNN partitions and mappings by appropriately configuring tiny switches and provides 8-459% better utilization across multiple dataflow mappings over baselines with rigid NoC fabrics.

Summary : 명령형과 선언형 스타일을 모두 제공하는 텐서 컴프리헨션(Tensor Comprehensions)이라는 딥 러닝 수학에 가까운 언어, 딥 러닝 DAG의 수학적 설명을 위임된 메모리 관리 및 동기화를 통해 CUDA 커널로 변환하는 다면체 Just-In-Time 컴파일러, 자동 튜너로 채워진 컴파일 캐시 등이 기여하고 있습니다.

Summary : 병렬 패턴으로 구성된 애플리케이션을 효율적으로 실행하도록 설계된 새로운 공간 재구성 가능한 아키텍처인 Plasticine을 설계하여 다양한 Dense 및 Sparse 애플리케이션에서 기존 FPGA에 비해 최대 76.9배의 성능-와트 향상을 제공합니다.

Summary : 본 논문에서는 높은 리소스 사용률에서 높은 클럭 주파수를 달성할 수 있는 systolic array 아키텍처를 사용하여 FPGA에서 CNN을 구현하고, 성능 및 리소스 활용에 대한 분석 모델을 제공하고 자동 설계 공간 탐색 프레임워크를 개발합니다.

Summary : The Sparse CNN (SCNN) accelerator architecture is introduced, which improves performance and energy efficiency by exploiting thezero-valued weights that stem from network pruning during training and zero-valued activations that arise from the common ReLU operator.

Summary : 이 논문은 2015년부터 데이터센터에 배치된 사용자 정의 ASIC인 Tensor Processing Unit(TPU)을 평가하며, 이는 신경망(NN)의 추론 단계를 가속화하고 동일한 데이터센터에 배치된 동시대의 서버급 Intel Haswell CPU와 Nvidia K80 GPU와 비교합니다.

Summary : 컴퓨팅 엔진이 지원하는 병렬 유형과 CNN 워크로드의 주요 병렬 유형 간의 불일치를 완화하기 위해 특징 맵, 뉴런, 시냅스 병렬 간의 상호 보완 효과를 활용할 수 있는 유연한 데이터 흐름 아키텍처(FlexFlow)를 제안합니다.

Summary : This work finds that a previously unexplored dimension exists in the design space of CNN accelerators that focuses on the dataflow across convolutional layers, and is able to fuse the processing of multiple CNN layers by modifying the order in which the input data are brought on chip, enabling caching of intermediate data between the evaluation of adjacent CNN layers.

Summary : A novel accelerator is proposed, Cambricon-X, to exploit the sparsity and irregularity of NN models for increased efficiency and experimental results show that this accelerator achieves, on average, 7.23x speedup and 6.43x energy saving against the state-of-the-art NN accelerator.

Summary : 본 논문에서는 기존 NN 기술에 대한 종합적인 분석을 바탕으로 스칼라, 벡터, 행렬, 논리, 데이터 전송, 제어 명령어를 통합한 로드 스토어 아키텍처인 캠브리콘(Cambricon)이라는 새로운 도메인별 NN 가속기용 명령어 집합 아키텍처(ISA)를 제안합니다.

Summary : A novel dataflow, called row-stationary (RS), is presented that minimizes data movement energy consumption on a spatial architecture and can adapt to different CNN shape configurations and reduces all types of data movement through maximally utilizing the processing engine local storage, direct inter-PE communication and spatial parallelism.

Summary : 이 압축된 네트워크 모델에서 추론을 수행하고 가중치 공유를 통해 희소 행렬-벡터 곱셈을 가속하는 에너지 효율적인 추론 엔진(EIE)은 압축하지 않은 동일한 DNN의 CPU 및 GPU 구현과 비교할 때 189배 및 13배 더 빠릅니다.

Summary : 휴대용 기기에서 사용자 중심의 패턴 인식을 실현하기 위해 고성능 및 에너지 효율적인 DL/DI(딥 인퍼런스) 프로세서를 제안

Summary : CNN은 가중치가 많은 뉴런 간에 공유되어 신경망의 메모리 점유율을 상당히 줄임. 이 특성 활용, CNN 전체를 SRAM 내에 매핑하여 가중치에 대한 모든 DRAM 접근을 제거, 가속기를 이미지 센서 옆에 배치함으로써 입력과 출력에 대한 모든 DRAM 접근을 제거함.

Summary : 사용자 지정 멀티 칩 머신 러닝 아키텍처를 소개하며, 가장 큰 것으로 알려진 일부 신경망 계층에서 GPU 대비 450.65배의 속도 향상과 64-칩 시스템에서 평균 150.31배의 에너지 절감을 달성할 수 있음을 보여줍니다.

Summary : 본 연구에서는 메모리가 가속기 설계, 성능 및 에너지에 미치는 영향에 특히 중점을 두고 대규모 CNN 및 DNN용 가속기를 설계하며, 작은 설치 공간에서 452 GOP/s를 수행할 수 있는 높은 처리량을 가진 가속기를 설계할 수 있음을 보여줍니다.

Summary : 이 접근 방식은 과도한 직렬화 실행을 방지하는 통합 메커니즘을 제공하여 기존의 순차적 아키텍처에서 각각 별도의 하드웨어 메커니즘이 필요한 동적 명령어 재정렬 및 멀티스레딩과 같은 기술의 효과를 본질적으로 달성합니다.

Summary : This paper proposes extracting an efficient heuristic loop transformation and mapping algorithm (PolyMAP) to improve mapping performance and shows that this proposed approach can improve the performance of the kernels by 21% on average, as compared to one of the best existing mapping algorithm, EPIMap.

Summary : DySER(동적 실행 리소스 전문화) 아키텍처는 기능 전문화와 병렬 처리 전문화를 모두 지원하며, 에너지 소비를 줄이면서 순서 외 CPU, SSE(스트리밍 SIMD 확장) 가속 및 GPU 가속 성능을 뛰어넘습니다.

Summary : 일반 프로그램을 병렬성과 로컬리티를 동시에 최적화할 수 있는 자동 다면체 소스 간 변환 프레임워크로, C 프로그램 섹션에서 OpenMP 병렬 코드를 자동으로 생성하는 도구로 구현되었습니다.