OkayStudy
JA English 한국어 日本語 中文 हिन्दी বাংলা اردو Español Português Français Deutsch Русский العربية Bahasa Indonesia Tiếng Việt ไทย Türkçe

通知を有効にする方法

このブラウザーまたはアドレスでは通知を利用できません。対応ブラウザーで安全な接続のBaeumNovaサイトを開いてください。

通知がブロックされている場合は、ブラウザーの設定で許可してください。

  1. アドレスバー横のサイト設定、またはブラウザーのサイト設定を開き、このサイトの通知を許可に変更してください。
  2. 端末の設定でブラウザーの通知を許可し、おやすみモードや集中モードを確認してください。
  3. BaeumNovaに戻ってページを再読み込みしてください。通知が有効になるとベルは表示されなくなります。

iPhoneやiPadではBaeumNovaをホーム画面に追加し、そこから開いて通知を許可してください。

ファインチューニング(fine-tuning)と LoRA — フルファインチューニングと LoRA の違い

ファインチューニングは、学習済みのモデルを少しだけ追加で学習させることです。LoRA はその反対ではなく、やり方の一つです。フルファインチューニングと LoRA の違いと選び方を説明します。

用語集に戻る 2026-11-10 に出典を確認しました
音響卓が二台並んでいる。左ではロボットの腕がすべてのつまみを動かし、右では音響卓がガラスのカバーで閉じられ、横に差し込んだ小さなパネルだけを一本の腕が調整している

絵で見ると

  1. フルファインチューニング full fine-tuning

    ロボットアームが音響卓のすべてのつまみを動かします。モデルの重みをすべて学習し直します。

  2. LoRA Low-Rank Adaptation

    音響卓はガラスのカバーで閉じておきます。横に差し込んだ小さなパネルだけを調整します。

LoRA はファインチューニングのやり方の一つ

ファインチューニングは、すでに済みのを持ってきて、自分ので少しだけ追加で学習させることです。LoRA はファインチューニングの反対ではありません。ファインチューニングのやり方の一つです。

ふつう「ファインチューニング」とだけ言うと、すべてのを更新するフルファインチューニング(full fine-tuning)を指します。LoRA は、ごく一部だけを学習する軽い方法です。このような軽い方法を PEFT(効率のよいファインチューニング)と呼びます。

ファインチューニング fine-tuning

フルファインチューニング full fine-tuning

モデルのすべての重みを更新します。

parameter-efficient fine-tuning

ごく一部だけを学習し、残りはそのままにします。

  • LoRA

    小さなを二つ足して、それだけを学習します。

  • したモデルに LoRA を使うので、がさらに少なくて済みます。

つまり選ぶのは「ファインチューニングか LoRA か」ではなく、「フルファインチューニングか LoRA か」です。

ファインチューニングの二つの方法

どちらも同じ済みのモデルから始めます。違うのは、そのモデルの重みをどれだけ変えるかです。

事前学習済みのモデル

  1. フルファインチューニング

    full fine-tuning

    事前学習済みのモデルの重みを、新しいデータですべて学習し直します。

    学習するもの
    7B モデルなら、7,000,000,000 個のパラメータがすべて変わります。
    できるもの
    結果として、元と同じ大きさの新しいモデルが丸ごと一つできます。
  2. LoRA

    Low-Rank Adaptation

    LoRA(Low-Rank Adaptation)は、元の重み W を固定し、その横に小さな行列を二つ(A と B)付けて、その二つだけを学習します。

    学習するもの
    学習するパラメータは、ふつう元の 0.1〜1% だけです。
    できるもの
    結果は、元のモデルに付け足す小さなのファイルです。

LoRA の式

モデルは重みを、行列という大きな数の表に入れています。LoRA は表 W を書き換えません。小さな表 B と A を掛けたものを、その上に足します。

W′ = W + ΔW = W + B·A

W′調整後に使う重み W元の重み 固定 ΔW変化量
ΔW変化量 B小さな行列 学習 A小さな行列 学習

それぞれの行列の大きさ

W
d 行 × d 列。変えません。
B
d 行 × r 列。学習します。
A
r 行 × d 列。学習します。
r
r はランク(rank)と呼ばれ、d よりずっと小さい数です。 (r ≪ d)

LoRA は一つの仮定の上に成り立っています。ファインチューニングで生じる重みの変化量 ΔW は、で十分に近似できるという仮定です。

数字で見ると、どれだけ小さくなるか

d = 4,096、r = 8 の層を一つ例にします。

フルファインチューニング

16,777,216

学習するパラメータ

W 全体: d × d = 4,096 × 4,096

LoRA

65,536

学習するパラメータ

B と A: 2 × d × r = 2 × 4,096 × 8

全体の約 256 分の 1

一つの層で学習するパラメータの数(d = 4,096、r = 8)
  • フルファインチューニング 16,777,216
  • LoRA 65,536

二本の棒は同じ目盛りなので、LoRA の棒はほとんど点に見えます。

LoRA はふつう、層の一部の行列にだけ使います。そのためモデル全体で見ると、学習するパラメータは元の 0.1〜1% だけです。

フルファインチューニングと LoRA の比較

フルファインチューニング vs LoRA
項目 フルファインチューニング LoRA
学習するもの すべての重み 追加した低ランク行列だけ
と学習時間 大きい ずっと小さい。 でモデルを量子化すると、さらに小さくなります
結果の大きさ モデル全体。数 〜数十 GB アダプターのファイル。数 MB〜数百 MB
複数の作業への対応 作業ごとにモデル全体のコピーが必要です ベースモデルは一つで、アダプターだけを取り替えます
の速さ 元と同じ アダプターを W に統合すれば元と同じ
元の知識を忘れること 危険が大きい 元の重みが固定なので比較的小さい
表現力 最も高い ランク r によって制限されます

とは、モデルが新しいことを学ぶうちに、もともと知っていたことを失ってしまうことです。

どちらを選ぶか

実務のほとんどは LoRA で行います。フルファインチューニングは、LoRA では足りないときに使います。

LoRA が合う場合

実務のほとんど
  • 大きなベースモデルに、話し方や分野の用語、決まったを持たせたいとき
  • が限られているとき
  • 用途ごとに複数のバージョンを運用する必要があるとき

フルファインチューニングが合う場合

LoRA では足りないとき
  • ベースモデルがほとんど知らない新しい言語や分野のように、動作を大きく変える必要があるとき
  • データと計算資源が十分にあるとき
  • モデルがとても小さいとき

超小型モデルに LoRA は必要ありません

パラメータが数百万〜数千万個しかない超小型モデルは、全体を学習しても費用が小さく済みます。そのため LoRA の利点はほとんどありません。LoRA は、モデルが大きいほど効果が大きくなる技術です。

出典

このページは下の論文と文書をやさしい言葉でまとめたもので、2026-11-10 に確認しました。内容が違う場合は、原文が正しいです。

予約できる時間が過ぎました

リエンと音声で会話 言語とテーマを選んで、リエンと声で話しましょう

リエンは English · 한국어 · 日本語 · हिन्दी で声に出して話します。ほかの言語は文字で答えます。

リエンとの音声会話は会員だけが使えます。まず会員登録をしてください。