ひとつ前のモデルが間違えた問題に印をつけ、次のモデルはその問題を重点的に学ぶ——弱いモデルの列が、誤りを引き継ぎながら1つの強いモデルへ育っていく。これがブースティングです。この記事では「逐次学習」「誤分類データへの重み付け」「弱学習器から強いモデルへ」というブースティング固有の駆動原理を軸に解説します。
📖 ひと言でいうと
ブースティングは、モデルを1つずつ順番(逐次的)に構築し、前のモデルの誤差を次のモデルが補正するように学習を進めるアンサンブル学習の手法です。単体では精度の低い弱学習器を連携させ、全体として強力なモデルを構築します。
例えるなら、家庭教師のリレーです。1人目の先生が教えた後、生徒がまだ間違える単元に印をつけて2人目へ引き継ぐ。2人目はその単元を重点指導し、残った弱点をまた3人目へ——。先生1人ひとりは平凡でも、弱点情報を引き継ぐリレーの積み重ねで、生徒の成績は着実に上がっていきます。
🖼 1枚でわかるブースティング
📘 公式テキストの説明
バギングと同様に、ブースティングも一部データを繰り返し抽出し、複数モデルを学習させる手法である。しかし、バギングとは異なり、ブースティングは逐次的にモデルを構築し、前のモデルの誤差を次のモデルが補正するように学習を進める。これにより、全体として弱学習器が連携してより強力なモデルを構築することが可能となる。ブースティングでは、各学習器の性能を評価し、その重要度に応じて重み付けを行う。重み付けされた学習器の組み合わせによって最終的な予測が行われる。特に、誤分類されたデータ点に対して重みを増やすことで、次の学習器はそれらのデータ点にフォーカスし、より正確な予測が可能になる。代表的なブースティングアルゴリズムには、AdaBoost、XGBoost、勾配ブースティングなどがある。
注目すべきは、2種類の「重み付け」が書かれている点です。1つ目はデータ点への重み付けで、誤分類されたデータの重みを増やして次の学習器に重点的に学ばせます。2つ目は学習器への重み付けで、性能の良い学習器の発言力を大きくして最終予測を組み立てます。「間違えた問題を重点復習する」仕組みと「優秀な先生の意見をより重視する」仕組みの二本立てと覚えると、選択肢の文言に惑わされません。
🔍 しっかり理解する
逐次学習：順番に作るからこそ誤りを引き継げる
ブースティングの学習器は同時には作れません。2番目の学習器は「1番目が何を間違えたか」を知らなければ学習できないからです。この依存関係のため、モデルは必ず1つずつ順番に構築されます。誤りの情報が数珠つなぎに引き継がれることで、モデル群全体は「まだ解けていない部分」へ集中的にリソースを注ぎ続けることになります。
弱学習器：あえて「弱い」モデルを使う
ブースティングの部品は弱学習器と呼ばれます。当てずっぽうよりは少しマシ、という程度の単純なモデル(たとえば分岐が1段だけの浅い決定木)で十分です。むしろ1つ1つが強力すぎると最初のモデルで訓練データを覚えきってしまい、「誤りを次が直す」というリレーが機能しません。単純な部品を大量に直列し、それぞれに「前任者の残した難問」を担当させることで、単体では到達できない表現力に達する——これがブースト(増強)という名前の由来です。
代表アルゴリズム：AdaBoostと勾配ブースティング系
公式テキストが挙げる代表例のうち、AdaBoost(Adaptive Boosting)は「誤分類されたデータ点の重みを増やす」方式をそのまま体現した1990年代半ば発表の古典的アルゴリズムです。一方、勾配ブースティングは「前のモデルの誤差(残差)そのもの」を次のモデルの学習目標にする方式で、XGBoostはその高速・高性能な実装です。データの重みを更新するのか、誤差を直接予測させるのかという違いはありますが、「逐次的に誤りを補正する」というブースティングの骨格は共通です。
なお、逐次的に誤りを潰していく性質上、ブースティングは主にモデルの系統的な誤り(バイアス)を減らすのに向きます。反面、ノイズの多いデータでは「ノイズまで熱心に学ぶ」ことになり、バギングに比べて過学習には注意が必要です。
💡 具体例で考える
ブースティングの歴史的な成功例が、2001年に発表されたViola-Jonesの顔検出器です。デジタルカメラの顔認識枠などに使われたこの手法は、AdaBoostを使って「明暗差の単純なパターン照合」という極めて弱い判定器を多数選び出し、重み付きで組み合わせて高精度な顔検出を実現しました。1つ1つは「目のあたりは頬より暗い」程度の素朴なルールでも、誤りを補い合う直列の連携で、当時としては画期的なリアルタイム顔検出ができたのです。「弱学習器の連携が強力なモデルを作る」という教科書の一文の、最も有名な実例です。
現代では、ECサイトの離脱予測や金融の不正検知のような表形式データの課題で、XGBoostなど勾配ブースティング系がまず試される定番になっています。「普通の顧客」の大枠を最初の木が捉え、「一見普通だが離脱する例外的なパターン」を後続の木が順に拾っていく動きは、まさに誤り補正のリレーです。
⚠️ よくある誤解・紛らわしい用語
- バギングとの混同(最頻出) — 本記事の軸で言えば、ブースティングの本質は「逐次+誤りの引き継ぎ+学習器への重み付け」です。バギングには誤りの引き継ぎがなく、独立した学習器の対等な多数決です。「前のモデルの誤差を次のモデルが補正する」という文言があればブースティング、なければバギングを疑ってください。
- 「弱学習器を使うのは手抜き」ではない — 弱い部品を使うのは設計思想です。強すぎる部品では逐次補正のリレーが機能しません。
- 2つの重み付けの混同 — 「誤分類データ点の重みを増やす」(次の学習器のフォーカス先を決める)と「学習器を性能で重み付けする」(最終予測への発言力を決める)は別の操作です。どちらか一方だけを問う選択肢に注意しましょう。
- 勾配ブースティングとの関係 — 勾配ブースティングはブースティングの一種です。上下関係を逆にした選択肢(「ブースティングは勾配ブースティングの一種」)は誤りです。
📝 試験でのポイント
- 「逐次的にモデルを構築」「前のモデルの誤差を次のモデルが補正」がブースティングを断定できるキーフレーズです。
- 「誤分類されたデータ点に対して重みを増やす」という仕組みの説明は頻出です。特にAdaBoostと強く結びつきます。
- 代表アルゴリズムとしてAdaBoost・XGBoost・勾配ブースティングを選ばせる問題に備えましょう。ランダムフォレストが混ざっていたらそれはバギング系です。
- 「弱学習器が連携して強力なモデルを構築する」という表現もブースティングの定義文として使われます。
📚 まとめ
ブースティングは、モデルを逐次的に構築し、前のモデルの誤差を次のモデルが補正するアンサンブル学習です。誤分類されたデータ点の重みを増やして次の学習器をフォーカスさせ、各学習器は性能に応じた重み付きで組み合わされます。弱学習器のリレーが強力なモデルを生むのが名前の由来で、代表例はAdaBoost・XGBoost・勾配ブースティングです。並列・多数決のバギングとの対比、そして「2種類の重み付け」の区別ができれば、この用語は得点源になります。
