콘텐츠로 이동
개발 기록
← 전체 글

같은 파라미터 수, 다른 저장 공간: 모델 양자화

맥북에서 로컬 모델을 처음 돌려 볼 때 LM Studio로 시작했다. LM Studio는 지금 기기에서 돌릴 수 있는 모델을 추천해 주고, 받기도 쉽다. 그러다 보니 같은 모델이 여러 버전으로 나뉘어 있는 게 보였다. 내가 썼던 건 아마 Q4였던 것 같다. 증류 글에 쓴 ’양자화’라는 단어도 여기서 봤다.

내 맥북은 Pro 중에서도 메모리가 가장 적은 구성이라, 아주 작은 모델이 아니면 다른 양자화 버전은 많이 써 보지 못했다.

양자화(quantization)는 모델의 가중치나 계산 중간값을 더 적은 비트로 표현하는 방법이다. 가중치를 적은 비트로 저장하면 그 데이터가 차지하는 공간은 줄어들지만, 원래 수치를 근사하는 과정에서 오차가 생긴다. 실제 실행 메모리와 답변 품질, 응답 속도는 양자화 대상과 실행 환경에 따라 따로 확인해야 한다. Hugging Face의 양자화 개념 설명

파라미터 수가 같아도 저장 공간은 달라진다

섹션 제목: “파라미터 수가 같아도 저장 공간은 달라진다”

가중치는 모델이 학습을 통해 조정한 내부 수치다. 같은 수의 가중치를 저장하더라도 각 값을 표현하는 데 사용하는 비트 수에 따라 필요한 공간은 달라진다. FP16과 BF16은 각각 16비트 부동소수점 형식이고, INT8은 8비트 정수 형식이다. FP16과 BF16은 비트 수가 같지만 표현할 수 있는 범위와 정밀도는 다르다.

정확히 70억 개의 가중치를 가진 가상의 모델을 생각해 보자. 모든 가중치를 동일한 비트 수로 빈틈없이 저장한다고 가정하면 필요한 공간은 가중치 수 × 비트 수 ÷ 8바이트다.

가중치 하나에 사용하는 비트 수 가중치 데이터의 계산상 용량 16비트 대비
16비트 14 GB 1
8비트 7 GB 1/2
4비트 3.5 GB 1/4

이 표는 1 GB = 10억 바이트로 계산한 가중치 데이터의 크기다. 실제 모델 파일의 크기나 필요한 GPU 메모리를 측정한 값은 아니다. 양자화에 사용하는 보조 정보, 높은 정밀도로 남겨 둔 일부 층, 실행 중의 임시 공간과 캐시까지 더하면 실제 요구량은 달라진다.

일반적인 가중치 양자화는 모델의 층이나 파라미터 수를 유지하면서 값을 표현하는 방식을 바꾼다. 70억 개의 가중치를 4비트로 저장해도 가중치 개수는 여전히 70억 개다. 지식 증류로 더 작은 학생 모델을 학습하는 방법과는 줄이는 대상이 다르며, 증류한 모델에 양자화를 추가로 적용할 수도 있다.

촘촘한 수치를 제한된 눈금에 맞추기

섹션 제목: “촘촘한 수치를 제한된 눈금에 맞추기”

양자화를 이해하려면 눈금 간격이 정해진 자를 생각할 수 있다. 실제 길이가 두 눈금 사이에 있다면 가까운 눈금으로 읽어야 한다. 양자화에서도 원래 값을 사용할 수 있는 수치 중 하나로 옮기면서 차이가 생긴다.

여기서는 0을 정수 0에 대응시키는 대칭 균일 양자화를 살펴보자. scale은 이 눈금 간격을 정한다. 원래 값을 scale로 나눈 뒤 가까운 정수로 반올림하고, 허용 범위를 벗어나면 경계값으로 제한한다. 이 범위 제한을 clipping이라고 한다. 다시 실수값으로 계산할 때는 정수에 scale을 곱한다. NVIDIA의 양자화 수식 설명

다음 표의 원래 값은 원리를 설명하기 위해 정한 가상의 가중치다. scale = 0.01, 정수 범위 -127~127을 사용하는 대칭 INT8 예시이며, 이 설정에서 표현할 수 있는 실수 범위는 -1.27~1.27이다.

원래 값 scale로 나눈 값 반올림/범위 제한 후 정수 정수에 scale을 곱한 근삿값
0.126 12.6 13 0.13
-0.734 -73.4 -73 -0.73
1.52 152 127 1.27

첫 두 행에는 반올림 오차가 생긴다. 마지막 행은 표현 범위를 벗어나 clipping에 따른 차이가 더 커졌다. 이 값을 다시 FP16이나 FP32에 담아도 1.52라는 원래 값이 저절로 돌아오지는 않는다. 역양자화(dequantization)는 저장된 값에서 근삿값을 얻는 과정이다.

가중치는 모델의 계산에 사용되므로, 값이 달라지면 계산 결과와 출력도 달라질 수 있다. 다만 가중치의 오차가 작다는 사실만으로 답변 품질이 그대로 유지된다고 판단할 수는 없다. 수치의 차이와 실제 작업의 오류를 각각 살펴봐야 한다.

같은 비트 수에서 더 넓은 범위를 담으려면 눈금 간격도 넓어져야 한다. 반대로 간격을 좁히면 작은 차이를 더 세밀하게 표현할 수 있지만 범위 밖의 값을 처리해야 한다. 양자화 설정은 이 두 종류의 오차를 함께 다룬다.

모든 양자화가 같은 간격의 정수 눈금을 쓰는 것은 아니다. FP8 같은 낮은 비트 수의 부동소수점 형식도 사용한다. 따라서 ‘8비트 모델’이라는 표기만으로 어떤 값들을 표현하는지까지 알 수는 없다. NVIDIA의 양자화 데이터 형식

값의 묶음마다 눈금 간격을 다르게 정하기

섹션 제목: “값의 묶음마다 눈금 간격을 다르게 정하기”

한 묶음의 값에 유난히 큰 값이 섞여 있다고 하자. 그 값까지 하나의 scale로 표현하면 나머지 작은 값들의 차이를 세밀하게 담기 어려울 수 있다. 반대로 큰 값을 범위 밖으로 밀어내면 그 값의 오차가 커진다. 이런 이상값(outlier)을 어떻게 처리할지도 양자화 방식의 일부다.

scale을 적용하는 단위를 나누면 이런 영향을 줄일 수 있다. 가중치를 일정한 개수씩 묶고, 묶음마다 별도의 scale을 사용하는 것이 per-group 또는 block 방식이다. 각 묶음은 그 안의 값 분포에 맞는 눈금 간격을 사용할 수 있다.

여러 수치를 담은 배열인 텐서 전체에 하나의 scale을 쓰면 per-tensor 방식이다. 배열의 특정 축을 따라 채널별로 scale을 나누면 per-channel 방식이다. 적용 단위를 세분화하면 각 부분의 분포에 맞추기 쉬워지는 대신, 저장할 scale의 수와 처리 부담이 늘어난다. NVIDIA의 양자화 단위 설명

LM Studio에서 본 Q4 같은 이름도 이 방식과 이어진다. 내가 받은 파일이 정확히 어떤 형식이었는지는 기억나지 않는다. 다만 GGUF의 Q4_K는 가중치 32개를 한 블록으로 묶어 블록마다 scale을 두고, 그 scale까지 포함하면 가중치 하나에 평균 4.5비트를 쓴다. ’Q4’라고 해서 정확히 4비트만 쓰는 것은 아니다. Hugging Face의 GGUF 양자화 형식 표

가중치와 계산 중간값 중 무엇을 줄일까

섹션 제목: “가중치와 계산 중간값 중 무엇을 줄일까”

지금까지는 가중치를 더 적은 비트로 저장하는 방법을 살펴봤다. 모델을 실행할 때는 입력이 층을 통과하며 만들어지는 중간값인 activation도 메모리를 사용한다. 양자화는 가중치뿐 아니라 이런 중간값에도 적용할 수 있다.

모델 설명에 등장하는 W4A16은 가중치(weight)에 4비트, activation에 16비트를 사용한다는 뜻이다. 가중치만 낮은 비트 수로 바꾸는 weight-only quantization의 한 구성이다. 이 표기가 모든 연산과 중간 결과, 누적 계산까지 4비트로 처리한다는 의미는 아니다.

예를 들어 양자화를 지원하는 라이브러리인 bitsandbytes에서는 가중치를 4비트로 불러오는 설정과 계산에 사용할 자료형을 따로 지정한다. 가중치를 4비트로 저장하면서 계산 자료형은 BF16으로 설정할 수 있다. Hugging Face의 bitsandbytes 계산 자료형 설명

가중치 외에도 메모리를 사용하는 KV cache

섹션 제목: “가중치 외에도 메모리를 사용하는 KV cache”

LLM은 이전 토큰의 계산 결과 일부를 보관해 다음 토큰을 만들 때 재사용할 수 있다. 이 값을 저장하는 공간이 KV cache다. 여기에는 attention 계산에 쓰이는 key와 value가 들어간다. 이전 토큰 전체의 key와 value를 유지하는 모델에서는 처리한 토큰이 늘수록 저장할 값도 늘어난다. 긴 문맥이나 많은 동시 요청에서는 이 캐시가 차지하는 메모리도 중요해진다.

가중치를 4비트로 바꾸었다고 KV cache까지 자동으로 4비트가 되는 것은 아니다. 캐시 양자화는 별도의 설정이다. Hugging Face 문서는 문맥이 짧고 GPU 메모리가 충분할 때 캐시 양자화가 지연 시간을 늘릴 수 있다고 설명한다. 캐시에 필요한 공간과 변환에 드는 시간을 함께 비교해야 하는 이유다. Hugging Face의 캐시 전략

학습이 끝난 뒤 바꿀까 학습 중에 적응시킬까

섹션 제목: “학습이 끝난 뒤 바꿀까 학습 중에 적응시킬까”

양자화를 적용하는 흐름은 학습이 끝난 모델을 변환하는 PTQ와, 양자화의 영향을 학습 과정에 반영하는 QAT로 나누어 살펴볼 수 있다.

PTQ는 학습된 모델에서 출발한다

섹션 제목: “PTQ는 학습된 모델에서 출발한다”

Post-Training Quantization(PTQ)은 학습된 모델을 추가 재학습 없이 양자화하는 방식이다. 방법에 따라 대표 입력을 넣어 중간값의 분포를 관찰하고 양자화 설정을 정하는 calibration 과정이 필요하다. 이때 쓰는 입력을 calibration data라고 부른다.

GPTQ와 AWQ는 LLM의 가중치에 적용하는 PTQ의 사례다. GPTQ는 각 층의 출력이 원래 출력에 가까워지도록 가중치를 양자화하며, 그 과정에서 생긴 오차를 남은 가중치의 조정으로 보완한다. AWQ는 activation의 분포를 참고해 중요한 가중치 채널을 찾고, 해당 채널에 속한 가중치 값의 크기를 조정해 양자화 오차를 줄인다. GPTQ 논문, AWQ 논문

GPTQ나 AWQ를 직접 적용할 때는 calibration data를 준비한다. 반면 bitsandbytes처럼 별도의 calibration dataset 없이 적용할 수 있는 방식도 있다. Hugging Face의 양자화 방식 선택 안내

calibration data가 필요하다면 실제 사용할 입력의 특성을 반영하는 편이 좋다. 예를 들어 긴 한국어 문서 요약이 목표라면 그 언어와 길이를 포함한 입력을 고려할 수 있다. 최종 품질을 평가할 문서는 별도로 두어야 양자화 설정을 정할 때 보지 않은 입력에서도 결과가 유지되는지 확인할 수 있다.

양자화 모델을 비교할 때는 비트 수와 함께 적용 방식, 묶음의 크기, 높은 정밀도로 남겨 둔 층을 확인한다.

QAT는 양자화 오차를 학습에 반영한다

섹션 제목: “QAT는 양자화 오차를 학습에 반영한다”

Quantization-Aware Training(QAT)은 학습이나 fine-tuning 중에 양자화로 생길 오차를 모의 적용하고, 모델이 그 영향을 고려해 가중치를 조정하도록 한다. 흔히 fake quantization으로 반올림과 범위 제한의 효과를 반영한 뒤, 학습이 끝나면 실제 낮은 비트 수의 표현으로 변환한다. PyTorch의 QAT 설명

이 과정에서는 학습 중의 수치를 부동소수점으로 유지하면서 양자화의 영향을 흉내 낼 수 있다. 최종 모델이 4비트라는 이유만으로 학습 전체가 4비트 연산으로 이루어졌다고 해석해서는 안 된다.

QAT에는 학습 데이터와 연산 자원이 추가로 필요하다. PTQ로 필요한 품질을 얻지 못했을 때 검토할 수 있지만, 원하는 품질을 회복하는 정도는 모델과 작업에 따라 평가해야 한다.

작은 모델 파일이 항상 빠른 응답으로 이어지지는 않는다

섹션 제목: “작은 모델 파일이 항상 빠른 응답으로 이어지지는 않는다”

가중치를 읽어 오는 시간이 실행의 큰 부분을 차지한다면, 양자화로 옮길 데이터가 줄어드는 것이 속도에 도움이 될 수 있다. 낮은 정밀도의 연산을 지원하는 하드웨어에서는 계산 자체도 빨라질 여지가 있다. 다만 압축된 값을 풀고 계산에 맞는 형식으로 변환하는 작업에도 비용이 든다. Hugging Face의 INT4 저장과 연산 설명

실제 속도는 추론 엔진과 연산을 수행하는 구현인 kernel, 하드웨어 지원, 요청 형태에 영향을 받는다. 긴 입력을 한꺼번에 처리하는 prefill 단계와 토큰을 하나씩 생성하는 decode 단계도 계산 특성이 다르다. AWQ 논문 역시 이 두 단계의 특성을 구분하고, 양자화한 가중치를 효율적으로 읽고 계산하는 실행 구현을 함께 다룬다. AWQ 논문의 실행 성능 설명

비교할 때는 같은 하드웨어와 입력, 생성 설정에서 모델 형식과 엔진 버전을 기록해야 한다. 첫 토큰이 나올 때까지의 시간, 이후 토큰 생성 속도, 전체 응답 시간, 최대 메모리 사용량을 나누어 보면 어느 부분이 달라졌는지 알기 쉽다. 동시 요청 수와 출력 토큰 수도 함께 기록해야 비교를 해석할 수 있다.

메모리에 모델을 올릴 수 있게 된 것과, 같은 작업을 더 빨리 끝내게 된 것은 각각 확인할 결과다.

LM Studio에서 모델을 고르다 보면 같은 모델이 GGUF와 MLX로도 나뉜다. 찾아본 것 중 가장 인상적인 부분이었다.

GGUF는 llama.cpp를 만든 개발자가 설계한 모델 파일 형식이다. 텐서와 함께 메타데이터를 담고, 위에서 본 Q4_K 같은 양자화 형식을 쓴다. LM Studio는 Mac, Windows, Linux에서 llama.cpp로 GGUF 모델을 실행한다. Hugging Face의 GGUF 설명, LM Studio 문서

MLX는 Apple의 머신러닝 연구 조직이 만든 Apple silicon용 배열 프레임워크다. MLX의 배열은 공유 메모리에 있어서 CPU와 GPU가 같은 데이터를 복사 없이 다룬다. LM Studio는 Apple silicon Mac에서만 MLX로도 모델을 실행한다. MLX 저장소

써 보니 맥에서는 MLX를 지원하는 모델이라면 MLX 버전을 쓰는 게 가장 나은 선택지였다. 체감상 속도도 빨랐고, 조금 더 큰 모델도 시도해 볼 수 있었던 것 같다.

문서 요약에 적용한다면 무엇을 비교할까

섹션 제목: “문서 요약에 적용한다면 무엇을 비교할까”

공부하면서 본 예시 중에 한국어 문서 요약 기능에 양자화를 적용하는 경우가 있었다. 목표는 모델의 메모리 사용량을 줄이면서도 원문의 핵심 내용과 조건을 정확하게 전달하는 것이다. 다음은 실제 실험 결과가 아닌, 비교를 준비하기 위한 가상의 평가 흐름이다.

  1. 기준 결과를 만든다. 같은 기반 모델의 FP16이나 BF16 버전에서 요약 결과와 실행 비용을 기록한다. 원본 모델도 틀릴 수 있으므로 요약 품질은 문서 원문에 비추어 평가한다.
  2. 실행 가능한 양자화 구성을 고른다. 사용할 하드웨어와 엔진이 지원하는 형식 중에서 메모리 예산에 맞는 후보를 정한다. 기반 모델의 버전과 입력 형식도 맞춘다.
  3. 중요한 오류를 따로 살펴본다. 핵심 내용을 빠뜨리는지, 날짜/금액/부정 표현을 바꾸는지, 원문에 없는 내용을 덧붙이는지 확인한다. 짧은 문서와 긴 문서를 함께 포함한다.
  4. 품질과 실행 비용을 함께 비교한다. 미리 정한 품질 기준을 충족하는 후보에서 지연 시간과 최대 메모리 사용량을 비교한다. 동시 요청이 있는 서비스라면 그 조건도 포함한다.

평가 기준을 설명하기 위한 가상의 오류 예시를 생각해 보자. 원문에 “계약은 자동으로 연장되지 않는다”라고 적혀 있는데 요약이 “계약은 자동 연장된다”로 바뀌었다면, 문장은 자연스러워도 핵심 조건을 뒤집은 것이다. 원본 모델과 양자화 모델에서 이런 오류가 각각 얼마나 발생하는지 비교하면, 답변 문장의 유사성만 볼 때 놓치는 차이를 확인할 수 있다.

평균 점수와 함께 중요한 정보의 오류도 따로 집계한다. 대부분의 요약이 비슷하더라도 계약 금액이나 기한을 바꾸는 오류가 늘었다면 그 작업에서 받아들일 수 있는지 판단해야 한다. 샘플링을 사용하는 생성이라면 반복 횟수와 집계 방식을 정해 실행마다 답이 달라지는 영향도 살펴본다.

이 비교를 거쳐야 ‘4비트로 줄일 수 있다’는 사실을 서비스의 선택으로 연결할 수 있다. 메모리 여유가 생겼더라도 중요한 정보의 정확도가 기준에 미치지 못하면 다른 비트 수나 양자화 방식을 검토해야 한다.

양자화는 모델이 사용하는 수치를 더 적은 비트로 표현해 저장과 실행의 부담을 줄이는 방법이다. 파라미터 수가 같아도 가중치가 차지하는 공간은 줄어들 수 있고, 그 과정에서 생기는 오차는 모델의 출력에 영향을 줄 수 있다.

나는 작은 모델이라도 로컬에서 돌릴 수 있는 상태면 좋다고 생각한다. 요즘은 다들 자기가 쓰는 프론티어 모델에 묶여 있는 느낌이다. 언제 갑자기 연결할 수 없는 상황이 올지 모르니, 준비가 되어 있는 사람이 낫다. 메모리가 가장 적은 내 맥북에서도 모델을 돌려 볼 수 있었던 건 양자화 덕분이었다.