[PACT'21] Union

Union: A Unified HW-SW Co-Design Ecosystem in MLIR for Evaluating Tensor Operations on Spatial Accelerators

Geonhwa Jeong, et.al. on September 1, 2021
doi.org github
obsidian에서 수정하기

Abstract

(서론) 상업 및 과학 애플리케이션 전반에서 딥 러닝에 대한 극심한 컴퓨팅 수요를 충족하기 위해 데이터 흐름 가속기가 점점 더 인기를 얻고 있습니다.

(배경) 이러한 ‘도메인별’ 가속기는 CPU나 GPU처럼 완전히 프로그래밍할 수는 없지만 데이터 오케스트레이션, 즉 데이터 흐름 및 타일링 최적화와 관련하여 다양한 수준의 유연성을 유지하여 효율성을 향상시킵니다. 새로운 알고리즘을 설계하고 새로운 하드웨어에서 목표 문제에 대한 알고리즘을 실행하기 위한 접근 방식을 매핑할 때 몇 가지 과제가 있습니다. 이전 연구에서는 이러한 문제를 개별적으로 해결했습니다.

(방법론) 이 과제를 전체적으로 해결하기 위해 이 연구에서는 널리 사용되는 MLIR 컴파일러 인프라 내에서 Union11 github 이라는 공간 가속기를 위한 HW-SW 코드 설계 에코시스템을 제시합니다.

  • 이 프레임워크를 사용하면 여러 가속기 비용 모델에서 다양한 알고리즘과 그 매핑을 탐색할 수 있습니다.
  • 또한 유니온에는 쉽게 확장할 수 있는 가속기 비용 모델과 매퍼의 플러그 앤 플레이 라이브러리가 포함되어 있습니다.
  • 알고리즘과 가속기 비용 모델은 하드웨어, 워크로드, 매퍼의 제약 조건에 따라 체계적으로 정리할 수 있는 공간 가속기의 맵 공간을 캡처하는 새로운 매핑 추상화를 통해 연결됩니다.

(결론) Union은 다양한 매핑 체계를 사용해 다양한 가속기 아키텍처에서 다양한 텐서 연산(CONV/GEMM/텐서 수축)의 오프로드를 검토하는 여러 사례 연구를 통해 커뮤니티를 위한 유니온의 가치를 입증합니다.

Figure

figure 1 figure 1

figure 2 figure 2

figure 3 figure 3

figure 4 figure 4

figure 5 figure 5

figure 6 figure 6

figure 7 figure 7

figure 8 figure 8

figure 9 figure 9

figure 10 figure 10

figure 11 figure 11

Table

table I table I

table II table II

table III table III

table V table V