W&B 실험 로그¶

Weights & Biases를 통한 GovOn 실험 추적, 주요 메트릭, 리포트 링크를 정리한다.

W&B 프로젝트 링크¶

실험 요약 테이블¶

전체 실험 목록¶

핵심 메트릭 추이¶

xychart-beta
    title "마일스톤별 핵심 KPI 달성 추이"
    x-axis ["M2 MVP", "M3 Phase 1", "M3 Phase 2", "M3 최종"]
    y-axis "분류 정확도 (%)" 0 --> 100
    line [2, 45, 78, 90]

xychart-beta
    title "마일스톤별 추론 속도 개선"
    x-axis ["M2 MVP", "M3 Phase 1", "M3 Phase 2", "M3 최종"]
    y-axis "평균 레이턴시 (초)" 0 --> 10
    line [9.29, 5.2, 3.1, 2.43]

M2 파인튜닝 실험 (EXP-001)¶

실험 설정¶

학습 곡선¶

M2 AWQ 평가¶

평가 결과¶

평가 소요 시간¶

M3 최종 평가 (W&B Report)¶

실험 환경¶

KPI 판정 결과¶

레이턴시 상세¶

버전별 답변 품질 비교¶

graph LR
    subgraph "품질 메트릭 진화"
        V1["v1 Baseline<br/>BERTScore 59.15"] -->|"+13.19"| V2["v2 LoRA<br/>BERTScore 72.34"]
        V2 -->|"-1.30"| V3["AWQ v2<br/>BERTScore 71.04"]
    end

주요 발견사항 정리¶

AWQ Marlin 커널 효과¶

AWQ INT4 + Marlin 커널(awq_marlin)은 Ampere 아키텍처에서 최적화된 GEMM을 제공하여, 모델 크기 대비 우수한 추론 속도를 달성하였다.

데이터 불균형 영향¶

복지(68건)와 안전(40건) 카테고리의 학습 데이터 부족이 성능 저하의 주요 원인이다. 최소 150~200건으로 증강이 필요하다.

서울 편향 Hallucination¶

전체 생성의 15.4%(168건)에서 지자체와 무관하게 "서울시"가 언급되었다. 학습 데이터에 지자체명이 미포함되어 가장 빈번한 패턴을 기본값으로 학습한 결과이다.

개선 로드맵¶

답변 품질 고도화 계획¶

의존성 흐름¶

graph LR
    A["#70 데이터 증강"] --> C["#67 QLoRA HP 최적화"]
    C --> D["#68 답변 품질 고도화"]
    B["#54 RAG 파이프라인"] --> D
    D --> E["#69 추론 속도 최적화"]

실험 추적 가이드¶

W&B Run 기록 규칙¶

새로운 실험을 수행할 때는 다음 템플릿을 따른다.

### [EXP-XXX] 실험 제목
- **일시**: YYYY-MM-DD
- **설정 요약**: r=16, alpha=32, batch_size=16(eff), epochs=1
- **환경**: Google Colab L4 (24GB VRAM)
- **주요 결과**:
  - Final Loss: 0.XXXX
  - Eval Loss: 0.XXXX
  - Training Time: Xh XXm
- **WandB Run**: [링크]
- **비고**: 특이사항 기록

메트릭 추적 체계¶

참고 자료¶

• Weights & Biases 공식 문서
• W&B GovOn 프로젝트
• GovOn AWQ v2 모델 (HuggingFace)
• M3 최종 평가 스크립트