XZ

개요

XZ 압축 알고리즘은 높은 압축 비율과 빠른 압축 해제를 제공하는 손실 없는 데이터 압축 포맷 및 소프트웨어이다. (렘펠-지브-마르코프 체인 알고리즘, 두 번째 버전)를 핵심 압축 기술로 사용한다. 이 알고리즘은 효율성과 유연성으로 알려져 있어, 단일 파일 압축부터 압축 포맷에 이르기까지 다양한 응용 프로그램에 적합하다.

압축 방식

XZ 압축의 핵심은 입력 데이터의 크기를 줄이기 위해 여러 단계를 거친다.

LZMA2 압축

XZ의 주요 알고리즘인 LZMA2는 데이터에서 반복되는 시퀀스(문자열)를 찾아 이를 더 짧은 참조로 대체한다. 이 과정은 이전에 본 데이터의 사전을 생성하는 것을 포함하며, 데이터를 반복하는 대신 이 사전을 참조한다.

필터

LZMA2 압축 전에 데이터는 더 잘 압축되는 형태로 변환하기 위해 필터를 사용하여 사전 처리 될 수 있다. 예를 들어, 실행 가능 파일은 데이터의 일부를 정규화하여 데이터를 더 균일하게 만들고 압축하기 쉽게 사전 처리할 수 있다.

블록 구조

XZ는 데이터를 블록으로 압축하여 병렬 압축 해제를 가능하게 하고 랜덤 액세스 성능을 향상시킨다. 각 블록은 독립적으로 압축되며, 이러한 블록에 대한 메타데이터는 압축 해제를 용이하게 하기 위해 저장된다.

체크섬

데이터 무결성을 보장하기 위해 XZ는 개별 블록과 전체 아카이브에 대한 체크섬을 포함한다. 이 체크섬은 데이터 손상을 감지하는 데 사용할 수 있다.

장점

• 높은 압축 비율: LZMA2는 가장 높은 압축 비율 중 하나를 제공하여 파일 크기를 매우 효율적으로 줄입니다.
• 유연성: XZ는 텍스트 문서에서 이진 파일에 이르기까지 다양한 데이터 유형에 사용할 수 있습니다.
• 오류 검사: 내장된 체크섬은 압축된 데이터의 무결성을 보장하는 데 도움이 됩니다.

XZ 압축 방법

XZ는 리눅스와 유닉스 환경에서 파일, 소프트웨어 패키지, 그리고 아카이브를 압축하는 데 일반적으로 사용된다.

압축 예시

XZ 알고리즘이 데이터를 압축하는 방법을 특정 입력 및 출력 데이터를 포함한 정확한 단계별 예시로 설명하기는 복잡성과 이진성 때문에 어렵다. 하지만, XZ/LZMA2와 같은 압축 알고리즘에서 취하는 접근법을 반영한 단순화된 개념적 예시는 다음과 같다. XZ의 이진 작업을 직접적으로 나타내는 것은 아니지만 데이터 압축 뒤에 있는 핵심 개념을 이해하는 데 도움이 될 수 있다.

예시 문자열: "Welcome to the jungle, we have fun and games. Welcome to the jungle."

반복 식별

알고리즘은 텍스트에서 반복되는 시퀀스를 검색한다. 이때 "Welcome to the jungle"이 반복되는 것을 확인한다.

사전 생성

반복되는 시퀀스에 대한 사전을 생성한다.

• 항목 1: "Welcome to the jungle".

반복 시퀀스 대체

텍스트를 반복되는 시퀀스를 사전에 대한 참조로 대체하여 다시 작성한다. 항목 1을 "#1"이라고 한다면, 텍스트는 다음과 같이 표현될 수 있다.

"#1, we have fun and games. #1."

압축 메타데이터

압축된 텍스트와 함께 알고리즘은 사전과 같은 메타데이터를 저장한다. 압축 해제에 이 메타데이터는 필수적이다.

개념적 시각화

• 원본: "Welcome to the jungle, we have fun and games. Welcome to the jungle." (58자)
• 압축: 메타데이터(사전) + "#1, we have fun and games. #1." (사전 크기를 포함한 32자)

파일 압축

root@gaon:~# xz 파일명

예:

root@gaon:~# xz test.txt

압축 레벨 설정

root@gaon:~# xz -9 파일명

-9 옵션은 가장 높은 압축 레벨을 지정하며, 압축 시간이 길어지지만, 파일 크기가 줄어든다. 압축 레벨과 파일 크기의 관계는 반비례한다.

예:

root@gaon:~# xz -9 test.txt

파일 압축 해제

root@gaon:~# xz -d 파일명.xz

예:

root@gaon:~# xz -d test.xz

고려 사항

XZ가 상당한 이점을 제공하지만, 사용 환경 및 사례에 맞게 사용을 고려하는 것이 중요하다.

• 압축 및 압축 해제 시간: 더 높은 압축 레벨은 더 긴 압축 및 압축 해제 시간을 필요로 한다. 공간 절약의 필요성과 압축 및 압축 해제에 대한 수용 가능한 시간 사이의 균형을 맞추는 것이 중요하다.
• 메모리 사용량: LZMA2는 특히 높은 압축 레벨에서 메모리를 많이 사용할 수 있다. 이는 메모리 제약이 있는 시스템에서 작업할 때 고려되어야 한다.

요약하자면, XZ 압축 알고리즘은 LZMA2를 활용하여 파일 크기를 현저히 줄이면서도 데이터 무결성을 유지하는 강력한 도구를 제공하며, 그 유연성과 효율성은 특히 공간 절약이 우선시되는 많은 환경에서 선택 할 수 있는 좋은 선택지이다.

백도어 이슈

2024년 3월 29일 XZ 알고리즘이 아닌, XZ 압축하는 유틸리티 XZ Utils에서 백도어가 발견되었었다. 자세한 내용은 XZ Utils 백도어 문서에서 확인할 수 있다.