Skip to content

태그: GPU

총 4개의 글이 있습니다.

ASIC(Application-Specific Integrated Circuit)은 특정 용도에 맞춰 설계된 반도체 칩이다. 범용 프로세서(CPU)나 GPU와 달리 하나의 작업만 수행하도록 회로를 고정하기 때문에, 해당 작업에서는 전력 효율과 성능이 압도적으로 높다. GPU와 비교 GPU는 원래 그래픽 렌더링용이었지만 수천 개의 코어를 활용한 병렬 연산이 딥러닝 학습에 적합해서 AI 가속기로도 자리 잡게 되었다. 하지만 GPU는 여전히 범용 연산을 지원하는 프로그래머블 칩이기 때문에 행렬곱 외에도 그래픽, 시뮬레이션, 암호화 등 다양한 워크로드를 돌릴 수 있고, 그만큼 회로에 낭비가 있다. ASIC은 이 낭비를 없앤다. 예를 들어 행렬곱과 컨볼루션만 하면 되는 추론 칩이라면, 분기 예측기나 범용 ALU 같은

PTX(Parallel Thread Execution)는 NVIDIA GPU의 가상 ISA(명령어 집합 아키텍처)이다. CUDA 코드가 GPU에서 실행되려면 여러 단계의 컴파일을 거치는데, PTX는 그 중간 표현에 해당한다. Java의 바이트코드와 비슷한 위치다. CUDA C++ (.cu) → nvcc 프론트엔드가 컴파일 PTX (.ptx) → 가상 어셈블리. 특정 GPU에 종속되지 않는다 SASS → ptxas가 PTX를 변환한 실제 GPU 기계어. sm_75, sm_89 같은 특정 아키텍처에 종속된다 cubin/fatbin → GPU 실행 바이너리. fatbin은 PTX와 SASS를 함께 묶어둔 것으로, 런타임에 맞는 SASS가 있으면 그걸 쓰고 없으면 PTX를 JIT 컴파일한다 PTX 버전과 CUD

CUDA Toolkit CUDA Toolkit은 NVIDIA에서 제공하는 GPU 가속 애플리케이션 개발을 위한 툴체인이다. 주로 다음과 같은 구성 요소를 포함한다. 구성 요소 nvcc (NVIDIA CUDA Compiler): .cu 확장자의 CUDA C/C++ 소스를 컴파일하여 실행 가능한 코드로 변환 라이브러리 cuBLAS: GPU 가속 BLAS 연산 cuDNN: 딥러닝 연산 최적화를 위한 라이브러리 Thrust: STL과 유사한 병렬 알고리즘 라이브러리 디버깅 및 프로파일링 도구 cuda-gdb, nsight 등의 디버깅 도구 nvprof, Nsight Compute, Nsight Systems 등의 성능 분석 도구 버전 확인 CUDA Toolkit의 버전은 다음 명령어로 확인할 수 있다

NVIDIA GPU는 Kepler 세대 이후부터 하드웨어 가속 인코딩(NVENC)을, Fermi 세대 이후부터 하드웨어 가속 디코딩(NVDEC)을 지원한다. NVENC: CUDA와 독립적으로 작동하며 GPU의 성능 저하 없이 동작 NVDEC: 여러 코덱을 지원하며 실시간 디코딩 가능 지원 여부는 GPU 세대에 따라 다르며, 최신 정보는 NVIDIA Video Encode and Decode Support Matrix에서 확인할 수 있다. FFmpeg 하드웨어 가속 설정 빌드 과정 FFmpeg 및 관련 라이브러리 설치: git clone NVIDIA 드라이버 및 CUDA Toolkit 설치 nv-codec-headers 설치: ma