triton-inference-server/onnxruntime_backend

Triton 추론 서버를 위한 ONNX Runtime 백엔드로, ONNX 모델을 GPU 가속으로 효율적으로 실행합니다.

개발 재료맘대로 써도 됨 · BSD-3-Clause백엔드·DBC++난이도
180+0이번 주0 찜
83포크74이슈

중간맛 분석

C++ 기반 Triton 백엔드로, ONNX 1.14.1 이상을 지원합니다. CMake 빌드 시스템으로 ONNX 버전, TensorRT 최적화, OpenVINO 지원 등을 선택적으로 활성화할 수 있습니다. 실제 데모는 에 명시되지 않았지만, 빌드 후 /opt/tritonserver/backends/onnxruntime에 설치하여 즉시 Triton 서버에 통합할 수 있습니다. 비용이 높은 모델 최적화(INT8 양자화, 메모리 캐싱, 동적 배치 처리) 등을 세밀하게 조정할 수 있는 구성 옵션을 제공합니다.

이런 레포예요

이럴 때 쓰면 좋아요

  • ONNX 형식의 사전 학습된 모델을 프로덕션 Triton 클러스터에 배포하기
  • TensorRT/CUDA를 활용해 GPU에서 ONNX 모델의 추론 성능을 최적화하기
  • INT8 양자화, 동적 배치, 메모리 캐싱 등 고급 최적화 옵션으로 모델 효율성 조정하기

핵심 기능

ONNX Runtime을 Triton 백엔드로 통합하여 ONNX 모델 실행TensorRT, CUDA, OpenVINO 등 다중 실행 공급자(Execution Provider) 지원모델별 정밀도(FP32/FP16/BF16/INT8), 메모리, 캐싱 옵션 세밀 제어

대안 대비 차별점

ONNX 모델을 여러 가속기 조합으로 유연하게 실행할 수 있으며, TensorRT 전용 또는 ONNX Runtime 단독보다 더 세밀한 하이브리드 최적화와 폴백 옵션을 제공합니다.

준비물

  • CMake (최신 버전)
  • ONNX Runtime 소스 또는 바이너리
  • Triton 백엔드 저장소
  • NVIDIA GPU (TensorRT/CUDA 지원 시)

바로 시작하기

  1. 빌드 디렉토리 생성 및 이동
mkdir build
cd build
  1. CMake 설정으로 빌드 구성 (ONNX Runtime 버전과 Triton 컨테이너 버전 지정)
cmake -DCMAKE_INSTALL_PREFIX:PATH=`pwd`/install -DTRITON_BUILD_ONNXRUNTIME_VERSION=1.14.1 -DTRITON_BUILD_CONTAINER_VERSION=23.04 ..
  1. 빌드 및 설치 수행
make install
  1. 빌드된 백엔드를 Triton 설치 경로에 복사
cp -r install/backends/onnxruntime /opt/tritonserver/backends/onnxruntime
  1. TensorRT 지원 추가 (선택사항): CMake 단계에서 다음 옵션 추가
cmake -DCMAKE_INSTALL_PREFIX:PATH=`pwd`/install -DTRITON_BUILD_ONNXRUNTIME_VERSION=1.14.1 -DTRITON_BUILD_CONTAINER_VERSION=23.04 -DTRITON_ENABLE_ONNXRUNTIME_TENSORRT=ON ..

별 추이 · 7일

180+0 / 7일

활용성 · 따라 만들기 좋은가

샘플 점수 34/100
  • 관대한 라이선스
  • 테스트 있음
  • 예제 디렉토리
  • 최근 활동
  • AGENTS.md
  • llms.txt
  • 템플릿

🟢 최근 활동 있음 · 2020년 생성

이 레포에 깃밥 배지 달기

[![깃밥](https://www.gitbap.com/badge/triton-inference-server/onnxruntime_backend.svg)](https://www.gitbap.com/r/triton-inference-server/onnxruntime_backend)

🔌 클로드에서 바로 써보기

깃밥을 클로드에 연결하면 이런 레포를 클로드·커서·Codex에서 바로 찾고 체험할 수 있어요.

방법 ① 커넥터 URL

클로드 설정 → 커넥터에 이 주소를 붙여넣기.

https://www.gitbap.com/api/mcp
방법 ② 플러그인 (체험까지)

플러그인을 설치하면 /gitbap-trending·/gitbap-try 슬래시 커맨드로 레포를 그 자리에서 체험. Claude Code에서 아래 두 줄을 차례로 실행하세요.

/plugin marketplace add jakeparkcolde/gitbap-cowork
/plugin install gitbap-cowork@gitbap
연결 방법 자세히 →

AI가 README 기반으로 요약했습니다 · 원문 보기