ファインチューニング(fine-tuning)と LoRA — フルファインチューニングと LoRA の違い
ファインチューニングは、学習済みのモデルを少しだけ追加で学習させることです。LoRA はその反対ではなく、やり方の一つです。フルファインチューニングと LoRA の違いと選び方を説明します。
絵で見ると
-
フルファインチューニング full fine-tuning
ロボットアームが音響卓のすべてのつまみを動かします。モデルの重みをすべて学習し直します。
-
LoRA Low-Rank Adaptation
音響卓はガラスのカバーで閉じておきます。横に差し込んだ小さなパネルだけを調整します。
LoRA はファインチューニングのやり方の一つ
ファインチューニングは、すでに済みのを持ってきて、自分ので少しだけ追加で学習させることです。LoRA はファインチューニングの反対ではありません。ファインチューニングのやり方の一つです。
ふつう「ファインチューニング」とだけ言うと、すべてのを更新するフルファインチューニング(full fine-tuning)を指します。LoRA は、ごく一部だけを学習する軽い方法です。このような軽い方法を PEFT(効率のよいファインチューニング)と呼びます。
フルファインチューニング full fine-tuning
モデルのすべての重みを更新します。
parameter-efficient fine-tuning
ごく一部だけを学習し、残りはそのままにします。
- LoRA
小さなを二つ足して、それだけを学習します。
したモデルに LoRA を使うので、がさらに少なくて済みます。
つまり選ぶのは「ファインチューニングか LoRA か」ではなく、「フルファインチューニングか LoRA か」です。
ファインチューニングの二つの方法
どちらも同じ済みのモデルから始めます。違うのは、そのモデルの重みをどれだけ変えるかです。
事前学習済みのモデル
-
フルファインチューニング
full fine-tuning
事前学習済みのモデルの重みを、新しいデータですべて学習し直します。
- 学習するもの
- 7B モデルなら、7,000,000,000 個のパラメータがすべて変わります。
- できるもの
- 結果として、元と同じ大きさの新しいモデルが丸ごと一つできます。
-
LoRA
Low-Rank Adaptation
LoRA(Low-Rank Adaptation)は、元の重み W を固定し、その横に小さな行列を二つ(A と B)付けて、その二つだけを学習します。
- 学習するもの
- 学習するパラメータは、ふつう元の 0.1〜1% だけです。
- できるもの
- 結果は、元のモデルに付け足す小さなのファイルです。
LoRA の式
モデルは重みを、行列という大きな数の表に入れています。LoRA は表 W を書き換えません。小さな表 B と A を掛けたものを、その上に足します。
W′ = W + ΔW = W + B·A
それぞれの行列の大きさ
- W
- d 行 × d 列。変えません。
- B
- d 行 × r 列。学習します。
- A
- r 行 × d 列。学習します。
- r
- r はランク(rank)と呼ばれ、d よりずっと小さい数です。 (r ≪ d)
LoRA は一つの仮定の上に成り立っています。ファインチューニングで生じる重みの変化量 ΔW は、で十分に近似できるという仮定です。
数字で見ると、どれだけ小さくなるか
d = 4,096、r = 8 の層を一つ例にします。
フルファインチューニング
16,777,216
学習するパラメータ
W 全体: d × d = 4,096 × 4,096
LoRA
65,536
学習するパラメータ
B と A: 2 × d × r = 2 × 4,096 × 8
全体の約 256 分の 1
LoRA はふつう、層の一部の行列にだけ使います。そのためモデル全体で見ると、学習するパラメータは元の 0.1〜1% だけです。
フルファインチューニングと LoRA の比較
| 項目 | フルファインチューニング | LoRA |
|---|---|---|
| 学習するもの | すべての重み | 追加した低ランク行列だけ |
| と学習時間 | 大きい | ずっと小さい。 でモデルを量子化すると、さらに小さくなります |
| 結果の大きさ | モデル全体。数 〜数十 GB | アダプターのファイル。数 MB〜数百 MB |
| 複数の作業への対応 | 作業ごとにモデル全体のコピーが必要です | ベースモデルは一つで、アダプターだけを取り替えます |
| の速さ | 元と同じ | アダプターを W に統合すれば元と同じ |
| 元の知識を忘れること | 危険が大きい | 元の重みが固定なので比較的小さい |
| 表現力 | 最も高い | ランク r によって制限されます |
とは、モデルが新しいことを学ぶうちに、もともと知っていたことを失ってしまうことです。
どちらを選ぶか
実務のほとんどは LoRA で行います。フルファインチューニングは、LoRA では足りないときに使います。
LoRA が合う場合
実務のほとんど- 大きなベースモデルに、話し方や分野の用語、決まったを持たせたいとき
- が限られているとき
- 用途ごとに複数のバージョンを運用する必要があるとき
フルファインチューニングが合う場合
LoRA では足りないとき- ベースモデルがほとんど知らない新しい言語や分野のように、動作を大きく変える必要があるとき
- データと計算資源が十分にあるとき
- モデルがとても小さいとき
超小型モデルに LoRA は必要ありません
パラメータが数百万〜数千万個しかない超小型モデルは、全体を学習しても費用が小さく済みます。そのため LoRA の利点はほとんどありません。LoRA は、モデルが大きいほど効果が大きくなる技術です。
出典
このページは下の論文と文書をやさしい言葉でまとめたもので、2026-11-10 に確認しました。内容が違う場合は、原文が正しいです。
- LoRA: Low-Rank Adaptation of Large Language Models (arXiv)(新しいタブで開きます)
- QLoRA: Efficient Finetuning of Quantized LLMs (arXiv)(新しいタブで開きます)
- Hugging Face — PEFT(新しいタブで開きます)
- Hugging Face — PEFT: Adapters(新しいタブで開きます)
- Hugging Face — PEFT: LoRA(新しいタブで開きます)
- Hugging Face — Transformers: Fine-tuning(新しいタブで開きます)