양자화: AWQ W4A16g128¶

EXAONE-Deep-7.8B 파인튜닝 모델의 AWQ 양자화 과정, 설정, 성능 비교 결과를 정리합니다.

AWQ 양자화 개요¶

AWQ (Activation-aware Weight Quantization)는 MIT Han Lab에서 개발한 4비트 가중치 전용 양자화 기법입니다. MLSys 2024 Best Paper Award를 수상하였습니다.

핵심 원리¶

graph TD
    A["전체 가중치 분석"] --> B["활성화 분포 기반<br/>중요 채널 식별"]
    B --> C["상위 1% 중요 가중치<br/>스케일 업 (등가 변환)"]
    C --> D["전체 가중치 동일 비트 폭<br/>4-bit 양자화"]
    D --> E["하드웨어 가속 최적화<br/>GEMM 커널"]

1. Activation-aware: 활성화 분포를 기반으로 중요한 가중치 채널을 식별합니다
2. 선택적 보호: 상위 1%의 중요 가중치만 보호해도 양자화 오류가 크게 감소합니다
3. 등가 변환: 혼합 정밀도 대신, 중요 채널을 스케일 업하는 수학적 등가 변환을 사용합니다
4. 하드웨어 친화적: 전체 가중치를 동일 비트 폭으로 양자화하여 하드웨어 가속을 최적화합니다

기존 양자화와의 차이¶

양자화 설정 (W4A16g128)¶

약어 설명¶

설정 파라미터¶

quant_config = {
    "zero_point": True,
    "q_group_size": 128,
    "w_bit": 4,
    "version": "GEMM",
}

양자화 파이프라인¶

전체 흐름¶

graph TD
    A["LGAI-EXAONE/EXAONE-Deep-7.8B<br/>(BF16, ~15.6GB)"] -->|"QLoRA r=16, alpha=32"| B["LoRA 어댑터<br/>(~38MB)"]
    B -->|"merge_and_unload()"| C["BF16 병합 모델<br/>(14.56GB)"]
    C -->|"AWQ W4A16g128<br/>512 calibration samples"| D["AWQ 양자화 모델<br/>(4.94GB)"]

    style D fill:#2d7d46,color:#fff

Stage 1: LoRA 병합 (merge_lora.py)¶

LoRA 어댑터를 베이스 모델에 병합하여 하나의 완전한 BF16 모델을 생성합니다.

python src/quantization/merge_lora.py

수행 절차:

1. 베이스 모델(EXAONE-Deep-7.8B) BF16 로드
2. LoRA 어댑터(umyunsang/civil-complaint-exaone-lora) 부착
3. merge_and_unload() 실행으로 가중치 병합
4. 파라미터 수 일치 검증 (병합 후 == 베이스 모델)
5. LoRA 모듈 잔존 여부 검증
6. Sanity check: 테스트 민원에 대한 추론 실행

# 핵심 검증 코드
merged_param_count = sum(p.numel() for p in model.parameters())
assert merged_param_count == base_param_count  # 파라미터 수 일치
has_lora = any("lora" in name.lower() for name, _ in model.named_parameters())
assert not has_lora  # LoRA 모듈 잔존 없음

Stage 2: AWQ 양자화 (quantize_awq.py)¶

병합된 BF16 모델에 AWQ 양자화를 적용합니다.

python src/quantization/quantize_awq.py

캘리브레이션 데이터 준비:

도메인 특화 캘리브레이션을 위해 학습 데이터에서 512개 샘플을 추출합니다. 일반 텍스트 대신 민원 도메인 데이터를 사용하여 활성화 분포를 더 정확하게 캡처합니다.

def prepare_calibration_data(tokenizer, data_path, n_samples=512, max_length=2048):
    """도메인 특화 캘리브레이션 데이터를 학습 데이터에서 추출합니다."""
    samples = []
    for item in data[:n_samples * 2]:
        messages = [
            {"role": "user", "content": f"{item['instruction']}\n\n{item['input']}"},
            {"role": "assistant", "content": item["output"]},
        ]
        text = tokenizer.apply_chat_template(messages, tokenize=False)
        if len(text) > 100:  # 너무 짧은 샘플 제외
            samples.append(text)
    return samples[:n_samples]

양자화 결과¶

모델 크기 비교¶

xychart-beta
    title "모델 크기 비교 (GB)"
    x-axis ["BF16 원본", "BF16 병합", "AWQ 4-bit"]
    y-axis "크기 (GB)" 0 --> 18
    bar [15.6, 14.56, 4.94]

VRAM 사용량¶

AWQ 양자화 영향 상세 분석¶

M3 평가에서 LoRA v2(FP16/BF16) 대비 AWQ INT4 양자화 후 품질 변화를 측정하였습니다.

메트릭별 양자화 영향¶

xychart-beta
    title "양자화 전후 품질 메트릭 비교"
    x-axis ["SacreBLEU", "ROUGE-L", "BERTScore"]
    y-axis "점수" 0 --> 80
    bar "LoRA v2 (FP)" [11.45, 25.14, 72.34]
    bar "AWQ v2 (INT4)" [7.74, 18.76, 71.04]

비트 단위 분석¶

다른 양자화 방식과의 비교¶

AWQ 선택 이유¶

• vLLM 공식 지원: Marlin 커널을 통한 고성능 추론
• GPTQ 대비 2.6배 속도 향상 (Marlin 커널 기준)
• 표준 AWQ 대비 10.9배 속도 향상 (Marlin-AWQ 조합)
• 하드웨어 범용성: CUDA, ROCm 모두 지원
• 도메인 캘리브레이션: 민원 데이터 기반 캘리브레이션으로 정밀도 보존 우수

상세 선정 근거는 ADR-002를 참고하세요.

vLLM 서빙 성능¶

AWQ + vLLM 조합 결과 (M3)¶

Marlin 커널 효과¶

vLLM은 AWQ 모델에 대해 awq_marlin 커널을 활용한 고성능 추론을 지원합니다.

xychart-beta
    title "AWQ 커널별 상대 속도"
    x-axis ["표준 AWQ", "GPTQ", "Marlin-AWQ"]
    y-axis "상대 속도 (배)" 0 --> 12
    bar [1.0, 4.2, 10.9]

• enforce_eager=False (CUDA Graph 활성화)와 결합하여 커널 launch 오버헤드 최소화
• Ampere 아키텍처(SM 8.0)에서 최적화된 GEMM 제공

하드웨어 요구사항¶

양자화 실행 환경¶

추론 서빙 환경¶

발견된 문제점 및 해결¶

Merged 모델 손상 (Critical)¶

M2 단계에서 생성한 civil-complaint-exaone-merged 모델에 손상이 발견되었습니다.

올바른 양자화를 위한 필수 조건¶

W&B 양자화 로그¶

양자화 과정의 모든 메트릭은 W&B에 자동 기록됩니다.

기록되는 메트릭¶

양자화 결과 로그 파일¶

양자화 완료 시 quantization_log.json이 모델 디렉토리에 저장됩니다.

{
  "stage": "2_awq_quantization",
  "quant_config": {
    "zero_point": true,
    "q_group_size": 128,
    "w_bit": 4,
    "version": "GEMM"
  },
  "calibration_samples": 512,
  "awq_model_size_gb": 4.94,
  "merged_model_size_gb": 14.56,
  "compression_ratio": 2.95,
  "size_reduction_pct": 66.1,
  "quantization_time_seconds": 1800
}

재현 방법¶

1. 환경 설정¶

pip install autoawq transformers torch safetensors wandb loguru peft

2. LoRA 병합¶

python src/quantization/merge_lora.py

3. AWQ 양자화¶

python src/quantization/quantize_awq.py

4. 양자화된 모델 검증¶

from awq import AutoAWQForCausalLM
from transformers import AutoTokenizer

model = AutoAWQForCausalLM.from_quantized(
    "models/awq_quantized_model",
    fuse_layers=False,
    trust_remote_code=True,
)
tokenizer = AutoTokenizer.from_pretrained(
    "models/awq_quantized_model",
    trust_remote_code=True,
)

# Sanity check
messages = [{"role": "user", "content": "도로 포트홀 신고합니다."}]
input_ids = tokenizer.apply_chat_template(
    messages, tokenize=True, add_generation_prompt=True, return_tensors="pt"
).to(model.model.device)

output = model.model.generate(input_ids, max_new_tokens=200)
print(tokenizer.decode(output[0][input_ids.shape[1]:], skip_special_tokens=True))

참고 자료¶

• AWQ 논문 (arXiv)
• AutoAWQ GitHub
• vLLM AWQ 지원 문서
• EXAONE-Deep-7.8B-AWQ (공식)
• GovOn AWQ v2 모델
• ADR-002: AWQ 양자화 방식 선정