能動学習(Active Learning)は、モデルが「どのデータにラベルを付けてもらうと最も学習に役立つか」を自ら選び、人間(アノテータ)に問い合わせることで、少ないラベル付けコストで高い性能を目指す学習方法です。アノテーションが高価な実務で重要な枠組みであり、代表的な選択戦略を学びます。
※この項目はシラバス2026では出題対象外(オプション)ですが、前提知識として重要なため解説します。
📖 概要
教師あり学習の性能はラベル付きデータの量に大きく依存しますが、医療画像の診断ラベルのように、ラベル付けに専門家の時間が必要で高コストな場面は少なくありません。ラベルなしデータをランダムに選んでラベル付けするのは非効率で、「モデルがすでに自信を持って正しく分類できるデータ」にラベルを付けても学習への寄与は小さいためです。
能動学習は、(1)少量のラベル付きデータでモデルを学習する、(2)ラベルなしデータの中から「ラベルを付ける価値が高い」サンプルを何らかの基準(獲得関数)で選ぶ、(3)人間がそのサンプルにラベルを付ける、(4)追加されたデータで再学習する、というループを繰り返します。ラベルなしデータのプールから選ぶ設定はプールベース型と呼ばれ、実務で最も一般的です。
サンプル選択の基準は大きく2系統に分かれます。モデルの予測が不確かなサンプルを選ぶUncertainty Sampling系(そのうち最も基本的なのがLeast Confident)と、データ全体の分布をよく代表するサンプルを選ぶRepresentative Sampling系です。両者は相補的であり、組み合わせて使われることもあります。
🔍 キーワード解説
Uncertainty Sampling
Uncertainty Sampling(不確実性サンプリング)は、現在のモデルが「最も自信を持てない(予測が不確かな)」サンプルを優先してラベル付けを依頼する戦略です。予測が不確かなサンプルは決定境界の近くにあることが多く、そのラベルが判明すれば境界の位置を効率よく修正できる、という直感に基づきます。不確実性の測り方には複数の流儀があり、後述のLeast Confidentのほか、確率が1位のクラスと2位のクラスの差が小さいものを選ぶマージンサンプリング、予測分布のエントロピー H = -Σ p(y|x) log p(y|x) が大きいものを選ぶエントロピーベースの方法が代表的です。実装が簡単で効果も出やすい一方、モデルの現在の(誤っているかもしれない)予測に依存する点、外れ値のような「不確かだが学習に役立たない」サンプルを選びがちな点が弱点です。
Least Confident
Least Confident(最小確信度)は、Uncertainty Samplingの最も基本的な基準で、「モデルが最も高い確率を割り当てたクラスの、その確率値(確信度) max_y p(y|x) が最も小さいサンプル」を選びます。例えば2つのサンプルの予測分布が (0.9, 0.05, 0.05) と (0.4, 0.35, 0.25) であれば、最大確率が0.4しかない後者の方が確信度が低く、優先的にラベル付け対象となります。最大確率しか見ないため、2位以下のクラスへの確率の割れ方は考慮されない点が、マージンサンプリングやエントロピー基準との違いです。
Representative Sampling
Representative Sampling(代表性サンプリング)は、不確実性ではなく「データ全体の分布をよく代表しているか」を基準にサンプルを選ぶ戦略です。ラベルなしデータをクラスタリングして各クラスタの中心に近いサンプルを選ぶ、既にラベル付けされたデータと似ていない(カバーされていない)領域のサンプルを選ぶ、といった方法により、入力空間を偏りなくカバーするラベル付きデータ集合を構築します。不確実性のみに頼ると外れ値や特定領域への偏りが生じ得るのに対し、代表性を考慮すればデータの密度が高い(=実運用で頻出する)領域を確実に押さえられます。不確実性と代表性・多様性を組み合わせたハイブリッド戦略も広く用いられます。
📝 試験でのポイント
- 能動学習のループ(学習→サンプル選択→人間によるラベル付け→再学習)と、「モデルがラベル付け対象を選ぶ」という枠組みの定義を押さえましょう
- Least Confidentの計算(各サンプルの最大予測確率を比べ、最も小さいものを選ぶ)は具体的な数値で判定できるようにしましょう
- 不確実性の3基準(Least Confident/マージン/エントロピー)は、与えられた予測分布に対して選ばれるサンプルが異なり得る点も含めて区別しましょう
- Uncertainty Sampling(境界付近の不確かなサンプル)とRepresentative Sampling(分布を代表するサンプル)の狙いの違い、および前者の弱点(外れ値選択・モデル依存)を対比で理解しましょう
- 半教師あり学習(疑似ラベルを自動付与)との違い=能動学習は「人間に問い合わせて正解ラベルを得る」点、も混同しやすいポイントです
📚 まとめ
能動学習は、ラベル付けコストを抑えるために「学習に最も役立つサンプル」をモデル自身が選んで人間に問い合わせる枠組みです。選択基準には、予測の不確かさに基づくUncertainty Sampling(最大予測確率で測るLeast Confidentが基本形)と、データ分布の代表性に基づくRepresentative Samplingがあり、両者は相補的に組み合わせられます。各基準が「どのサンプルを選ぶか」を具体例で判断できるようにしておきましょう。
