LLM 양자화의 구조와 원리

모델 페이지에서 8B, 32B, 70B 같은 숫자를 보는 순간부터 질문이 시작됩니다. 내 컴퓨터에서 돌아갈까. Q4_K_M을 받으면 16GB 그래픽카드에서도 가능한가. FP8은 INT8보다 좋은가. 4비트 모델은 16비트 모델보다 네 배 빠른가. 긴 문서를 넣었더니 왜 갑자기 메모리가 부족해지는가.

이 질문들은 서로 다른 문제처럼 보이지만 밑바닥에는 하나가 있습니다. LLM은 거대한 수의 숫자로 이루어져 있고, 그 숫자를 저장하고 옮기고 계산하는 데 물리적인 비용이 듭니다.

이 책은 가장 단순한 산수에서 시작합니다. 700억 개의 파라미터를 BF16으로 저장하면 왜 140GB가 되는지 계산하고, 그다음 GPU 메모리를 열어 그 위에 활성값과 임시 버퍼와 KV 캐시가 어떻게 올라오는지 봅니다. 그리고 가장 많은 사람이 부딪히는 오해를 확인합니다. 작아졌다고 반드시 빨라지는 것은 아닙니다.

이 구분이 책 전체를 관통합니다. 4비트로 저장된 가중치가 실제 연산에서도 4비트로 처리되는지, 계산 전에 더 높은 정밀도로 복원되는지, GPU가 그 데이터 형식을 네이티브로 지원하는지, 그 지원을 실제 커널이 사용하는지에 따라 결과가 달라집니다. 저장 형식과 계산 형식과 하드웨어와 실행 소프트웨어를 하나의 단어로 뭉뚱그리면 양자화의 절반을 놓치게 됩니다.

중반부는 숫자 자체로 들어갑니다. FP32와 FP16과 BF16은 같은 16비트 안에서도 범위와 정밀도를 다르게 배분합니다. 실수를 정수 격자에 옮기면 반올림 오차와 클리핑 오차가 맞섭니다. 스케일은 한 칸의 크기를 정하고 제로 포인트는 0의 주소를 정합니다. 하나의 스케일을 모두가 공유할 필요는 없고, 이상치 몇 개가 전체 정밀도를 빼앗을 수 있습니다.

그다음 실제 4비트 모델이 만들어지는 과정을 따라갑니다. PTQ와 QAT는 언제 줄일지를 정하고, GPTQ는 양자화 오차가 레이어 출력에 미치는 영향을 보정하며, AWQ는 activation을 관찰해 중요한 가중치를 보호합니다. SmoothQuant는 어려움을 없애는 대신 weight 쪽으로 옮깁니다. FP8과 FP4는 정수 격자 바깥의 선택지이고, 로컬에서 만나는 Q4_K_M은 단일 dtype 이름이 아니라 배포 컨테이너와 recipe가 섞인 이름입니다.

모델을 줄이고 나면 모델 바깥에서 자라는 메모리가 남습니다. KV 캐시입니다. 토큰 하나가 128KiB라면 128K 컨텍스트는 16GiB가 됩니다. 이 책은 그 식을 직접 계산하고, FP8로 줄이는 방법과 그 대가, 그리고 양자화하지 않고 줄이는 여섯 가지 길을 구분합니다. MQA와 GQA는 저장할 head 수를 줄이고, eviction은 토큰을 버리고, offloading은 저장 위치를 바꿉니다. 같은 압축률이어도 잃는 것이 다릅니다.

마지막으로 GPU로 내려갑니다. 같은 NVFP4 체크포인트가 Blackwell에서는 네이티브 Tensor Core 경로를 타고 Hopper에서는 fallback으로 역양자화될 수 있습니다. 체크포인트 정밀도와 계산 정밀도는 같은 속성이 아닙니다.

코드는 없습니다. 특정 제품의 화면도 없습니다. 대신 도해 열다섯 장으로 각 단계에서 무엇이 무엇으로 바뀌는지 그렸고, 부록에 빠른 계산표와 용어표, 모델 파일 이름 읽는 법, 선택 체크리스트를 두었습니다. 저장 정밀도와 계산 정밀도를 분리해 보는 감각 하나만 남아도 새로운 포맷 이름이 나올 때마다 처음부터 배우지 않아도 됩니다.

약속할 수 있는 것은 하나입니다. 이 책은 여러분의 추론 속도를 몇 배 올려 주지 않습니다. 그 숫자는 모델과 하드웨어와 워크로드에 따라 달라지고, 이 책은 그런 단정을 피합니다. 대신 새로운 양자화 기술을 만났을 때 물어야 할 것을 남깁니다. 무엇을 줄이는가. 몇 비트로 표현하는가. 어떤 단위로 스케일을 나누는가. 오차는 어디에서 생기는가. 줄어든 데이터가 실제 하드웨어에서 더 적은 비용으로 계산되는가. 확보한 메모리로 무엇을 더 할 수 있는가.