【G検定まとめ2026】7.教師あり学習

1. 教師あり学習には、特徴量と教師データのペアが必要であることを理解する

教師あり学習は機械学習の一手法で、モデルが学習するためには特徴量と教師データのペアが必要です。特徴量とは、モデルに入力するデータの特性を数値化したものです。例えば、動物の画像を分類する場合、画像の色や形などの情報が特徴量となります。一方、教師データは正解のラベルを指します。先ほどの例では、「この画像はネコです」「この画像はイヌです」といった正解情報が教師データに当たります。教師あり学習の目標は、大量の特徴量と教師データのペアを用いてモデルを訓練し、新しい入力データに対して正確な予測ができるようにすることです。

学習の過程は次のように進みます。まず、大量の特徴量と教師データのペアを準備します。これらのデータを使ってモデルを訓練します。訓練中、モデルは入力された特徴量から予測を行い、その予測と実際の教師データとの差を計算します。モデルはこの差を小さくするように少しずつ調整を重ねていきます。この過程を繰り返すことで、モデルの精度が徐々に向上していきます。教師あり学習の長所は、明確な正解データがあるため、モデルの性能を客観的に評価しやすい点です。また、多くの実用的な問題に適用できる柔軟性も持ち合わせています。ただし、大量の正解付きデータを用意する必要があるため、データの収集や正解ラベルの付与に時間とコストがかかる場合があります。教師あり学習は、分類問題や回帰問題など、様々な種類の課題に適用できます。具体的には、スパムメールの検出、顧客の購買予測、画像認識などの幅広い分野で活用されています。

2. 教師あり学習における、分析対象に応じた問題の種類を列挙・説明できる

教師あり学習で扱う問題は、大きく分けて「回帰問題」と「分類問題」の2種類があります。

回帰問題

回帰問題は、連続的な数値を予測することを目的としています。例えば、過去の売上データを基に将来の売上を予測するケースがこれに当たります。この場合、入力データとして過去の売上や関連する要因を使用し、出力データとして予測される売上金額を得ることになります。回帰問題におけるモデルの役割は、入力データと出力データの関係性を学習することです。そして、新しい入力に対して連続的な数値を出力します。この出力結果は、一般に予測値や推定値と呼ばれます。

分類問題

分類問題は、離散的なカテゴリを予測することが目標です。例として、動物の画像が与えられた時に、その動物の種類を識別する問題が挙げられます。この場合、入力データは動物の画像であり、出力データはその動物の種類（例：犬、猫、鳥）となります。分類問題では、モデルは入力データがどのカテゴリに属するかを学習します。そして、新しい入力に対してカテゴリを予測します。この予測されるカテゴリは、クラスやラベルと呼ばれることもあります。

問題の選択

実際の応用では、分析対象や目的に応じて適切な問題の種類を選択することが大切です。例えば、顧客の年齢を予測したい場合は回帰問題となります。一方、顧客が商品を購入するかどうかを予測したい場合は分類問題となります。興味深いのは、同じデータであっても、問題の設定によって回帰問題にも分類問題にもなり得ることです。例えば、英語の文章を日本語に翻訳する場合を考えてみましょう。単語ごとに最適な訳語を選ぶ問題として捉えれば分類問題となります。しかし、文全体を連続的な単語の並びとして捉えれば回帰問題とみなすこともできます。

3. 代表的な教師あり学習モデルの基本概念を理解する

線形回帰

線形回帰は、教師あり学習モデルの中で最も基本的なものの一つです。このモデルは、入力データと出力データの間に直線的な関係があると仮定し、その関係を最もよく表す直線や平面を見つけ出します。例えば、ある人の身長から体重を予測する問題を考えてみましょう。線形回帰モデルは、既存の身長と体重のデータを使って、両者の関係を最もよく表す直線を求めます。この直線が決まれば、新しい身長データが与えられたときに、その直線上の対応する点から体重を予測できます。線形回帰は2次元の問題だけでなく、より多くの変数を扱う多次元の問題にも適用できます。また、正則化という技術を組み合わせることで、モデルの一般化性能を高めることもできます。代表的な正則化手法には、ラッソ回帰やリッジ回帰があります。

ロジスティック回帰

ロジスティック回帰は、名前に「回帰」とついていますが、実際には分類問題を解くためのモデルです。このモデルは、入力データが特定のカテゴリに属する確率を予測します。ロジスティック回帰の特徴は、シグモイド関数（またはロジスティック関数とも呼ばれます）を用いて、任意の入力値を0から1の間の値に変換することです。これにより、モデルの出力を確率として解釈できます。例えば、メールが迷惑メールかどうかを判定する問題を考えてみましょう。ロジスティック回帰モデルは、メールの特徴（送信元、件名の単語、本文の長さなど）を入力として受け取り、そのメールが迷惑メールである確率を0から1の間の値で出力します。通常、0.5を基準として、それ以上なら迷惑メール、それ未満なら正常なメールと判定します。ロジスティック回帰は基本的に2クラス分類（二値分類）のためのモデルですが、多クラス分類問題に拡張することも可能です。その場合、シグモイド関数の代わりにソフトマックス関数を用いて、複数のクラスに属する確率を計算します。

ランダムフォレスト

ランダムフォレストは、複数の決定木を組み合わせて使う手法です。

決定木は、データの特徴に基づいて分岐を繰り返し、最終的に予測や分類を行う構造を持っています。

ランダムフォレストの特徴は、多数の決定木を作成し、それらの予測結果を組み合わせることで最終的な予測を行う点です。各決定木は、元のデータセットからランダムに選ばれたサブセットを使って学習します。また、各分岐点で使用する特徴もランダムに選択されます。この手法には、いくつかの利点があります。まず、個々の決定木の弱点を補い合うことで、全体としての予測精度が向上します。次に、ランダム性を導入することで、過学習（オーバーフィッティング）のリスクを抑えられます。さらに、特徴の重要度を評価することができ、どの特徴が予測に大きく影響しているかを理解するのに役立ちます。ランダムフォレストは、回帰問題と分類問題の両方に適用できる汎用性の高いモデルです。その柔軟性と高い性能から、多くの実際の問題解決に使用されています。

4. 目的やデータの特性・量に応じて、適切な教師あり学習モデルを選択できる

線形回帰モデル

線形回帰は、最も基本的な教師あり学習モデルの一つです。このモデルは、入力変数と出力変数の間に直線的な関係があると仮定します。例えば、住宅の広さと価格の関係を予測する場合に適しています。

線形回帰の長所は、解釈が容易で計算も比較的簡単なことです。しかし、データに曲線的な関係がある場合には適していません。

ロジスティック回帰

ロジスティック回帰は、名称に「回帰」とありますが、実際には分類問題に用いられるモデルです。二つの選択肢から一つを選ぶ問題（例：スパムメールかどうか）や、複数の選択肢から一つを選ぶ問題に適しています。このモデルの利点は、出力を確率として解釈できるため、予測の信頼度を把握しやすいことです。

ランダムフォレスト

ランダムフォレストは、複数の決定木を組み合わせたモデルです。様々な特徴の組み合わせを考慮するため、複雑なパターンを学習できます。また、過剰適合を抑える効果もあります。

このモデルは、分類問題と回帰問題の両方に使用でき、多くの場合で高い性能を示します。

サポートベクターマシン（SVM）

SVMは、データ点を高次元空間に移し、クラス間の距離が最大になるような境界線（超平面）を見つけるモデルです。

曲線的な問題にも対応でき、少ないデータでも高い性能を示すことがあります。

ただし、大規模なデータセットでは計算にかかる負荷が高くなる傾向があります。

自己回帰モデル

時系列データの分析に適しているのが自己回帰モデルです。株価の予測や天気予報など、過去のデータから将来の値を予測する問題に使用されます。データに時間的な依存関係がある場合に効果的です。

モデル選択の基準

適切なモデルを選ぶためには、以下の点を考慮することが大切です。

• データの特性：直線的か曲線的か、分類問題か回帰問題か、時系列データかどうかなど
• データ量：大規模なデータセットか、それとも少量のデータか
• 解釈可能性：モデルの判断根拠を説明する必要があるか
• 計算にかかる負荷：学習や予測にかかる時間や計算資源の制約
• 予測精度：求められる精度のレベル

これらの要素を総合的に判断し、目的に合ったモデルを選択することが求められます。また、複数のモデルを試し、交差検証などの手法で性能を比較することも有効な方法です。

5. ビジネスにおける教師あり学習の応用例を説明できる

売上予測

企業にとって、将来の売上を正確に予測することは非常に重要です。過去の売上データを活用することで、この予測が可能になります。この手法は回帰問題の一例です。

予測には、季節性、経済指標、マーケティング活動などの要因が考慮されます。これらの情報を入力として用いることで、将来の売上金額を算出します。

この予測結果は、企業の戦略立案に大きな影響を与えます。例えば、在庫管理の効率化や適切な人員配置の実現につながります。

顧客分類

顧客の属性や行動データを分析することで、顧客をいくつかのグループに分けることができます。これは分類問題の典型例です。

分類に使用される情報には、年齢、購買履歴、Webサイトでの行動などがあります。これらのデータを基に、顧客を「高頻度購入者」「中頻度購入者」「低頻度購入者」などのカテゴリーに分類します。

この分類結果は、マーケティング戦略の立案に活用されます。各グループの特性に合わせたアプローチを取ることで、効果的な顧客対応が可能になります。

スパムメール検出

ビジネスにおいて、メールは重要なコミュニケーションツールです。しかし、スパムメールの存在は業務効率を低下させる要因となります。教師あり学習を用いることで、このスパムメールを効果的に検出できます。検出には、メールの本文、件名、送信元アドレスなどの特徴が使用されます。これらの情報を基に、メールが「スパム」か「非スパム」かを判別します。

この技術により、重要なビジネスメールを見逃すリスクが減少し、メール管理の効率が向上します。

製品の品質管理

製造業において、品質管理は非常に重要です。教師あり学習を活用することで、製品の品質を事前に予測することが可能になります。

予測には、製造時の温度、圧力、原材料の特性などのデータが使用されます。これらの情報を基に、製品の品質スコアを算出したり、「良品」か「不良品」かを判別したりします。

この予測技術により、製造プロセスの最適化が進みます。また、不良品の早期発見も可能になり、品質管理の精度が向上します。

与信評価

金融機関にとって、適切な与信評価は業務の根幹を成します。教師あり学習を用いることで、この評価をより精緻に行うことができます。

評価には、顧客の年収、職業、過去の返済実績などの情報が使用されます。これらのデータを基に、融資の可否や適切な与信限度額を決定します。

この技術により、金融機関はより詳細なリスク管理を行うことが可能になります。結果として、健全な融資業務の実現につながります。

---

キーワード解説

アンサンブル学習

複数の学習器を個別に学習し、それらの出力を組み合わせることによって問題を解く手法。出力の組み合わせ方は、平均だけでなく、多数決や重み付きの投票なども含まれる。

カーネル

カーネル法は、データを高次元空間へと変換し、その空間での分析を容易にする手法である。この方法は、特徴量間の相関よりも精度が要求される場合や、線形分離不可能なデータセットに対して有効である。カーネル法を利用することで、高次元空間での分析を行いつつ、計算コストを抑えることが可能になる。カーネルは、実質的には2つのベクトル間の類似度を測る関数であり、機械学習アルゴリズムにおいて内積を置き換える役割を果たす。カーネルトリックと呼ばれる手法を用いることで、データを実際に高次元空間に変換することなく、内積の計算を行うことができる。代表的なカーネル関数として、線形カーネル、多項式カーネル、ガウシアンカーネル（RBFカーネル）などがある。

カーネルトリック

高次元のモデル利用時に汎化性能が低下しデータ分析が困難になる状況に対処する手法で、データの次元数を増加させてより単純な形状へ変換し、データ分析を容易に行うことができる。このカーネルトリックを用いることで、線形分離不可能なデータでも、高次元空間への写像によって線形分離可能な形に変換されることが期待される。その結果、データ分析の精度が向上し、より効果的な学習が可能となる。

回帰問題

株価の予測、家の価格の予測、気温の予測など。 - 出力は具体的な数値。たとえば、家の面積、立地、築年数などの入力データから、その家の価格を予測する場合、予測される価格（例: $250,000）が回帰問題の出力となる。

決定木

分類木と回帰木を組み合わせたものでツリー（樹形図）によって条件分岐を繰り返すことで境界線を形成してデータを分析する手法。決定木は一般に仕組みがわかりやすいだけでなく、データのスケールを事前に揃えておく必要がなく、分析結果の説明が容易である特徴がある。訓練データを用いて決定木を過学習させたあと、検証データを用いて性能低下に寄与している分岐を切り取ることを剪定という。これにより過学習を抑制できる。条件分岐を繰り返す際に条件分岐の良さを判断するための基準をあらかじめ定めておく。分類問題においては情報利得の最大化を判断基準とする。

勾配ブースティング

勾配ブースティング決定木(Gradient Boosting Decision Tree: GBDT)とは、「勾配降下法(Gradient)」、「アンサンブル学習(Boosting)」、「決定木(Decision Tree)」の3つの手法を組み合わせた学習の手法。この手法では、決定木を逐次的に学習させ、前の決定木の誤りを次の決定木が修正するようにしていく。勾配降下法は、学習の過程で目的関数を最小化する方向へパラメータを更新していくことで、学習器の性能を向上させる役割を果たす。XGBoostやLightGBM、CatBoostなどがある。

サポートベクターマシン

SVM（Support Vector Machine）とも呼ばれる。異なるクラスの各データ点（サポートベクトル）との距離（マージン）が最大となるような境界線を求めることで、パターン分類を行う。この距離を最大化することをマージン最大化と言う。スラック変数を用いることで、どの程度誤分類を許容するか調整できるようになり、誤分類されたデータに寛容になる。SVMではデータをあえて高次元に写像することで、その写像後の空間で線形分類できるようにするカーネル法というアプローチがとられた。この写像に用いられる関数のことをカーネル関数と言う。計算量が非常に大きくなるため、カーネルトリックと言う手法を用いて計算量を抑えることができる。

線形回帰

回帰問題に用いる手法でシンプルなモデルの1つ。データ（の分布）があったときに、そのデータに最も当てはまる直線を考える。線形回帰に正則化項を加えた手法として、ラッソ回帰やリッジ回帰などがある。

自己回帰モデル

一般に回帰問題に適用されるが、対象は時系列データである。時系列データ分析のことを単純に時系列分析（time series analysis）とも呼ぶ。ARモデルは、過去のデータポイントを予測変数として現在のデータポイントを予測することを目的とする。入力が複数種類の場合、自己回帰モデルをベクトル自己回帰モデル（vector autoregressive mode、VARモデル）と呼ぶ。VARモデルでは、複数の時系列データを同時に考慮し、各変数の過去のデータポイントに基づいて現在のデータポイントを予測する。これにより、異なる変数間の相互依存関係が考慮される。

単回帰分析

説明変数が1つだけの線形回帰モデル。1つの入力（説明変数）から1つの出力（目的変数）を予測する最も基本的な回帰分析の手法であり、入力と出力の関係を最もよく表す直線を求める。例えば、身長から体重を予測したり、広告費から売上を予測したりする問題が単回帰分析にあたる。説明変数が複数ある場合は重回帰分析を用いる。

重回帰分析

重回帰分析は説明変数が複数ある場合、それらの組み合わせによって目的変数を予測する線形モデルを構築する。重回帰分析では、各説明変数の寄与度や相互作用を考慮し、より高い予測性能を達成することが可能である。

多クラス分類

データを複数のカテゴリに分類する手法を多クラス分類と呼ぶ。この手法は3つ以上のクラスを対象とする分類問題に対応するために開発された。代表的な手法として、One-vs-Rest、One-vs-One、多クラスソフトマックスの3種類がある。One-vs-Rest方式では、着目するクラスとそれ以外のクラスという二項対立の形で問題を捉える。この処理をすべてのクラスについて実施する。複数のクラスに分類される可能性がある場合は、各分類器の出力値の大きさを基準に最終的な判定を行う。One-vs-One方式は、2つのクラスの組み合わせごとに分類を行う。n個のクラスがある場合、必要な分類器の数はnC2個となる。この方式では、各分類器による判定結果の多数決によって、最終的なクラスを決定する。

バギング

Bootstrap Aggregatingの略称で、予測値と実際値の誤差が大きい場合の改善方法として用いられる。アンサンブル学習の一手法であり、複数のモデルを並列に作成し、それぞれの予測結果の多数決によって最終的な予測を行う。この方法は、オーバーフィッティングを抑制し、モデルの汎化性能を向上させることが目的である。バギングは、元のデータセットからランダムに選んだデータのサブセット（ブートストラップサンプル）を用いて、それぞれの学習器を独立に学習させる。この過程で、複数の異なるデータセットが生成され、それぞれのモデルは異なるデータセットを用いて学習されるため、モデル間の相関が低くなる。バギングの結果は、回帰問題の場合は学習器の平均値を取ることで、分類問題の場合は多数決によって最終的な予測が決定される。これにより、個々の学習器の過学習やバリアンスが低減され、全体としてより安定した予測が可能となる。代表的なバギングのアルゴリズムには、ランダムフォレストがある。

ブースティング

バギングと同様に、ブースティングも一部データを繰り返し抽出し、複数モデルを学習させる手法である。しかし、バギングとは異なり、ブースティングは逐次的にモデルを構築し、前のモデルの誤差を次のモデルが補正するように学習を進める。これにより、全体として弱学習器が連携してより強力なモデルを構築することが可能となる。ブースティングでは、各学習器の性能を評価し、その重要度に応じて重み付けを行う。重み付けされた学習器の組み合わせによって最終的な予測が行われる。特に、誤分類されたデータ点に対して重みを増やすことで、次の学習器はそれらのデータ点にフォーカスし、より正確な予測が可能になる。代表的なブースティングアルゴリズムには、AdaBoost、XGBoost、勾配ブースティングなどがある。

ブートストラップサンプリング

母集団となるデータがあるとき、母集団から重複を許してランダムにいくらかデータを取り出して再標本化をする手法。バギングでは、まず母集団からBootstrap samplingによって複数のサンプルを抽出する。ブートストラップサンプリングを利用したアンサンブル学習の手法にバギングがある。ブートストラップサンプリングとバギングは、特にデータセットが小さい場合やノイズが多い場合に有効である。

分類問題

スパムメールの識別、手書き文字の認識、画像の中の物体のカテゴリ識別など。 - 多クラス分類：出力カテゴリが2つ以上の場合。例えば、手書きの数字を0〜9のどれかに分類する場合など。 - 2クラス分類（バイナリ分類）：出力カテゴリが2つだけの場合。例えば、スパムメールかそうでないかを判定する場合など。

ベクトル自己回帰モデル

自己回帰(AR)モデルを多変量に拡張したもの。複数の変数を用いることで予測精度の向上が見込まれる。VARモデルは、複数の時系列データ間の相互依存関係を捉えることができ、それぞれの変数が他の変数の過去の値に影響を受けることを考慮したモデル構築が可能である。VARモデルを適用することで、時系列データに含まれる相互作用や因果関係を明らかにし、より高い予測性能を実現することができる。

マージン最大化

サポートベクターマシン(SVM)は、マージン最大化という基準を用いて決定境界を得るモデルで、決定境界から一番近いデータまでの距離をマージンといい、マージンが最大になるように決定境界の位置が決められる。このようにして求められた境界は、データが未知の場合でも高い予測性能を発揮し、過学習を抑制する効果がある。決定境界の決め方には、データがマージンの内側に入ることを許容しない「ハードマージン」と、データがマージンの内側に入ることを許容する「ソフトマージン」がある。ハードマージンは、データがマージンの内側に入ることを一切許容しない方法で、完全に線形分離可能なデータセットに適している。一方、ソフトマージンは、データがマージンの内側に入ることをある程度許容する方法で、線形分離不可能なデータセットやノイズのあるデータセットに対応することができる。

ランダムフォレスト

「決定木」において特徴量をランダムに選びだす手法。ランダムフォレストでは特徴量をランダムに選び出す（ランダムに複数の決定木を作る）。学習に用いるデータも全データを使うのではなく、それぞれの決定木に対してランダムに一部のデータを取り出して学習を行う（ブートストラップサンプリング）。複数の決定木の結果から、多数決で出力を決定することで全体的に精度向上することを期待している。なお、複数のモデルで学習することをアンサンブル学習、全体から一部のデータを用いてアンサンブル学習する方法をバギングという。ランダムフォレストはバギングの中で決定木を用いている手法である。過学習しやすいという弱点がある程度解消される。

ロジスティック回帰

線形回帰を分類問題に応用したアルゴリズム。対数オッズを重回帰分析により予測して、ロジスティック(シグモイド)関数で変換することで出力の正規化によって予測値を求めることで、最大確率を実現するクラスをデータが属するクラスと判定する。目的関数は尤度関数を用いる。ロジット変換を行うことで、出力値が正規化される。3種類以上の分類は、ソフトマックス関数を使う。