OK 스터디
KO English 한국어 日本語 中文 हिन्दी বাংলা اردو Español Português Français Deutsch Русский العربية Bahasa Indonesia Tiếng Việt ไทย Türkçe

알림을 켜는 방법

이 브라우저 또는 주소에서는 알림을 사용할 수 없습니다. 지원되는 브라우저로 보안 연결된 배움노바 사이트에 접속해 주세요.

알림이 차단되어 있으면 브라우저 설정에서 허용해 주세요.

  1. 주소 표시줄 옆의 사이트 설정 또는 브라우저의 사이트 설정을 열고, 이 사이트의 알림을 허용으로 바꾸세요.
  2. 기기 설정에서 브라우저 알림을 허용하고 방해 금지 또는 집중 모드를 확인하세요.
  3. 배움노바로 돌아와 페이지를 새로고침하세요. 알림이 켜지면 벨은 사라집니다.

iPhone 또는 iPad에서는 배움노바를 홈 화면에 추가하고 거기에서 연 뒤 알림을 허용하세요.

파인튜닝(fine-tuning)과 LoRA — 풀 파인튜닝과 LoRA 의 차이

파인튜닝은 이미 학습된 모델을 조금 더 가르치는 일입니다. LoRA 는 그 반대말이 아니라 파인튜닝을 하는 방법 중 하나입니다. 풀 파인튜닝과 LoRA 의 차이와 고르는 기준을 설명합니다.

용어집으로 돌아가기 2026-11-10 에 출처를 확인했습니다
음향 조절대 두 대가 나란히 있다. 왼쪽은 로봇 팔들이 모든 손잡이를 움직이고, 오른쪽은 조절대가 유리 덮개로 잠겨 있고 옆에 꽂은 작은 패널만 로봇 팔 하나가 조절한다

그림으로 보면

  1. 풀 파인튜닝 full fine-tuning

    로봇 팔이 조절대의 모든 손잡이를 움직입니다. 모델의 가중치 전체를 다시 학습합니다.

  2. LoRA Low-Rank Adaptation

    조절대는 유리 덮개로 잠가 둡니다. 옆에 꽂은 작은 패널만 조절합니다.

LoRA 는 파인튜닝을 하는 방법 중 하나

파인튜닝은 이미 된 을 가져와 내 로 조금 더 학습시키는 일입니다. LoRA 는 파인튜닝의 반대 개념이 아닙니다. 파인튜닝을 하는 방법 중 하나입니다.

보통 "파인튜닝"이라고만 하면 모든 를 업데이트하는 풀 파인튜닝(full fine-tuning)을 가리킵니다. LoRA 는 극히 일부만 학습하는 경량 방식입니다. 이런 경량 방식을 PEFT( 효율적 파인튜닝)라고 부릅니다.

파인튜닝 fine-tuning

풀 파인튜닝 full fine-tuning

모델의 모든 가중치를 업데이트합니다.

parameter-efficient fine-tuning

극히 일부만 학습하고 나머지는 그대로 둡니다.

  • LoRA

    작은 두 개를 붙여 그것만 학습합니다.

  • 한 모델에 LoRA 를 써서 가 더 적게 듭니다.

그래서 고를 것은 "파인튜닝이냐 LoRA 냐"가 아니라 "풀 파인튜닝이냐 LoRA 냐"입니다.

파인튜닝의 두 가지 방법

둘 다 같은 된 모델에서 출발합니다. 그 모델의 가중치를 얼마나 건드리느냐가 다릅니다.

사전학습된 모델

  1. 풀 파인튜닝

    full fine-tuning

    사전학습된 모델의 가중치 전체를 새 데이터로 다시 학습합니다.

    학습하는 것
    7B 모델이면 7,000,000,000개 파라미터가 모두 바뀝니다.
    결과물
    결과물도 원본과 같은 크기의 새 모델이 통째로 하나 생깁니다.
  2. LoRA

    Low-Rank Adaptation

    LoRA(Low-Rank Adaptation)는 원본 가중치 W 는 얼려 두고, 그 옆에 작은 행렬 두 개(A, B)를 붙여서 그것만 학습합니다.

    학습하는 것
    학습하는 파라미터는 보통 원본의 0.1~1%뿐입니다.
    결과물
    결과물은 원본 모델에 덧붙이는 작은 파일입니다.

LoRA 의 식

모델은 가중치를 행렬이라는 큰 숫자 표에 담아 둡니다. LoRA 는 표 W 를 고치지 않습니다. 작은 표 두 개 B 와 A 를 곱한 것을 그 위에 더합니다.

W′ = W + ΔW = W + B·A

W′튜닝 뒤에 쓰는 가중치 W원본 가중치 고정 ΔW변화량
ΔW변화량 B작은 행렬 학습 A작은 행렬 학습

행렬의 크기

W
세로 d × 가로 d. 바꾸지 않습니다.
B
세로 d × 가로 r. 학습합니다.
A
세로 r × 가로 d. 학습합니다.
r
r 을 랭크(rank)라고 하며 d 보다 훨씬 작습니다. (r ≪ d)

LoRA 는 한 가지 가정 위에 서 있습니다. 파인튜닝으로 생기는 가중치 변화량 ΔW 는 (low-rank) 행렬로 충분히 근사할 수 있다는 가정입니다.

숫자로 보면 얼마나 줄어드나

d = 4,096, r = 8 인 레이어 하나를 예로 듭니다.

풀 파인튜닝

16,777,216

학습 파라미터

W 전체: d × d = 4,096 × 4,096

LoRA

65,536

학습 파라미터

B 와 A: 2 × d × r = 2 × 4,096 × 8

전체의 약 256분의 1

레이어 하나의 학습 파라미터 수 (d = 4,096, r = 8)
  • 풀 파인튜닝 16,777,216
  • LoRA 65,536

두 막대는 같은 눈금이라 LoRA 막대는 거의 점으로 보입니다.

LoRA 는 보통 레이어의 일부 행렬에만 적용합니다. 그래서 모델 전체로 보면 학습 파라미터는 원본의 0.1~1%뿐입니다.

풀 파인튜닝과 LoRA 비교

풀 파인튜닝 vs LoRA
항목 풀 파인튜닝 LoRA
학습 대상 전체 가중치 추가된 저랭크 행렬만
· 학습 시간 큼 훨씬 작음. 로 양자화하면 더 줄어듭니다
결과물 크기 모델 전체, 수 ~수십 GB 어댑터 파일, 수 MB~수백 MB
여러 작업 대응 작업마다 모델 전체 사본이 필요합니다 베이스 모델 하나에 어댑터만 교체합니다
속도 원본과 동일 W 에 병합하면 원본과 동일
기존 지식 망각 위험이 큼 원본이 고정이라 상대적으로 적음
표현력 가장 높음 랭크 r 에 의해 제한됩니다

은 모델이 새것을 배우다가 원래 알던 것을 잃어버리는 일입니다.

언제 무엇을 고르나

대부분의 실무는 LoRA 로 합니다. 풀 파인튜닝은 LoRA 로 부족할 때 씁니다.

LoRA 가 맞는 경우

대부분의 실무
  • 큰 베이스 모델에 말투, 도메인 용어, 특정 을 입히고 싶을 때
  • 가 제한적일 때
  • 용도별로 여러 버전을 운영해야 할 때

풀 파인튜닝이 맞는 경우

LoRA 로 부족할 때
  • 베이스 모델이 거의 모르는 새 언어나 도메인처럼 동작을 크게 바꿔야 할 때
  • 데이터와 컴퓨팅 자원이 충분할 때
  • 모델이 아주 작을 때

초소형 모델에는 LoRA 가 필요 없습니다

파라미터가 수백만~수천만 개인 초소형 모델은 전체를 학습해도 비용이 작습니다. 그래서 LoRA 의 이점이 거의 없습니다. LoRA 는 모델이 클수록 효과가 커지는 기법입니다.

출처

이 페이지는 아래 논문과 문서를 쉬운 말로 줄인 것이고 2026-11-10 에 확인했습니다. 서로 다르면 원문이 맞습니다.

예약할 수 있는 시간이 지났습니다

리엔과 음성 대화 언어와 주제를 골라 리엔과 말로 대화해요

리엔은 English · 한국어 · 日本語 · हिन्दी 로 소리 내어 말해요. 다른 언어는 글로 답해요.

리엔과 음성 대화는 회원만 할 수 있어요. 먼저 회원 가입을 해 주세요.