압축 알고리즘

• BZIP2: Burrows-Wheeler 알고리즘을 사용하는 형식이다.

• DEFLATE: LZSS 및 Huffman 코딩을 기반으로 한 압축 알고리즘이다. Deflate는 Avro 파일 형식에만 해당된다.

• GZIP: Deflate를 기반으로 한 압축 알고리즘이다. Athena 엔진 버전 2 및 3의 Hive 테이블과 Athena 엔진 버전 2의 Iceberg 테이블의 경우 GZIP은 Parquet 및 텍스트 파일 스토리지 형식의 파일에 대한 기본 쓰기 압축 형식이다. tar.gz 형식의 파일은 지원되지 않는다.

• LZ4: Lempel-Ziv 77(LZ7) 패밀리의 알고리즘도 최대 데이터 압축이 아닌 압축 및 압축 해제 속도에 중점을 둔다. LZ4에는 다음과 같은 프레이밍 형식이 있다.
  • LZ4 Raw/Unframed: LZ4 블록 압축 형식의 프레이밍되지 않은 표준 구현이다. ( LZ4 블록 형식 설명 )

  • LZ4 framed: LZ4의 일반적인 프레이밍 구현이다. ( LZ4 프레임 형식 설명 )
  • LZ4 hadoop-compatible: LZ4의 Apache Hadoop 구현이다. 이 구현은 LZ4 압축을 BlockCompressorStream.java 클래스로 래핑한다.

• LZO: 최대 데이터 압축이 아닌 높은 압축 및 압축 해제 속도에 중점을 둔 Lempel–Ziv–Oberhumer 알고리즘을 사용하는 형식이다. LZO에는 두 가지 구현이 있다.
  • Standard LZO

  • LZO hadoop-compatible - LZO 알고리즘을 BlockCompressorStream.java 클래스로 래핑한 버전이다.

• SNAPPY: Lempel-Ziv 77 (LZ7) 패밀리의 일부인 압축 알고리즘이다. Snappy는 데이터를 최대한 압축하지 않고, 빠른 압축 및 압축 해제 속도에 중점을 둔다.

• ZLIB: Deflate를 기반으로 한 ZLIB는 ORC 데이터 스토리지 형식의 파일에 대한 기본 쓰기 압축 형식이다. 자세한 내용은 GitHub에서 zlib 페이지를 참조하라.

• ZST: Zstandard 실시간 데이터 압축 알고리즘은 높은 압축비를 제공하는 빠른 압축 알고리즘이다. Zstandard(ZSTD) 라이브러리는 BSD 라이선스를 사용하는 오픈 소스 소프트웨어로 제공된다. ZSTD는 Iceberg 테이블의 기본 압축이다. ZSTD 압축 데이터를 작성할 때 Athena는 기본적으로 ZSTD 압축 수준 3을 사용한다.