【E資格】連合学習（Federated Learning）｜Federated Averagingの仕組みを解説

データを1か所に集めずに、各参加者の手元にあるデータでモデルを協調学習する連合学習を学ぶ項目です。クロスデバイス/クロスサイロという2つの形態と、代表的なアルゴリズムであるFederated Averagingの流れを理解します。

※この項目はシラバス2026では出題対象外(オプション)ですが、前提知識として重要なため解説します。

📖 概要

通常の機械学習では、学習データを中央のサーバに集めてからモデルを学習します。しかし、スマートフォンの入力履歴や医療機関の診療データのように、プライバシーや規制・契約の観点から生データを外部へ持ち出せないケースは少なくありません。連合学習(Federated learning)は、生データを各参加者(端末や組織)の手元に置いたまま、モデルの更新情報(パラメータや勾配)だけをやり取りして共通のモデルを協調的に学習する枠組みです。

前項目の分散深層学習と似ていますが、目的と前提が異なります。データセンター内の分散学習は「均質な計算機に意図的に分割した(概ね同じ分布の)データ」を扱うのに対し、連合学習では「データが最初から参加者ごとに偏って存在し(non-IID)、参加者の計算能力や通信も不安定」という条件で学習しなければなりません。参加者の性質によりクロスデバイス学習とクロスサイロ学習に大別され、学習アルゴリズムの代表がFederated Averagingです。

🔍 キーワード解説

Local Model と Global Model

連合学習には2種類のモデルが登場します。Global Model(グローバルモデル)は、中央サーバが管理する全参加者共通のモデルで、学習の成果物です。Local Model(ローカルモデル)は、各参加者が受け取ったグローバルモデルを自分の手元のデータで更新したモデルです。連合学習は「グローバルモデルの配布→各参加者によるローカル学習→更新の集約によるグローバルモデルの改善」というサイクルを繰り返す構造になっており、サーバに送られるのはローカルモデルの更新情報のみで、生データは参加者の外に出ません。

Federated Averaging

Federated Averaging(FedAvg)は、連合学習の代表的なアルゴリズムです。1ラウンドの流れは概ね次の通りです。

1. サーバが現在のGlobal Modelを参加者(の一部)に配布する
2. 各参加者は手元のデータで複数ステップの学習(ローカルSGDなど)を行い、Local Modelを更新する
3. 各参加者は更新後のパラメータ(または差分)だけをサーバへ送る
4. サーバは受け取ったパラメータを、各参加者のデータ量に応じた重み付き平均で集約し、新しいGlobal Modelとする

各参加者が1勾配ごとに通信するのではなく、手元で複数ステップ学習してから通信するため、通信回数を大きく削減できるのが特徴です。一方、参加者間でデータ分布が異なる(non-IID)場合には、各ローカルモデルが別々の方向へ進んでしまい、単純な平均では学習が不安定になりうることが知られています。

クロスデバイス学習

クロスデバイス学習(cross-device)は、スマートフォンやIoT機器など、膨大な数の端末が参加者となる形態です。参加者数は数万〜数百万規模になりえますが、各端末が持つデータは少量で、電源・通信状態により参加できるタイミングも不安定です。そのため、各ラウンドでは接続可能な一部の端末だけをサンプリングして学習に参加させる運用が前提となります。スマートフォンの文字入力予測の改善などが典型的な応用例として知られています。

クロスサイロ学習

クロスサイロ学習(cross-silo)は、医療機関・金融機関・企業など、比較的少数の組織(サイロ=データを外に出せない貯蔵庫の比喩)が参加者となる形態です。参加者数は数個〜数百程度と少ない一方、各参加者は大量のデータと安定した計算・通信環境を持ち、基本的に全参加者が毎ラウンド参加できます。組織間のデータ共有が規制や競争上の理由で難しい場面で、データを持ち寄らずに共同でモデルを構築する手段として位置づけられます。

📝 試験でのポイント

📚 まとめ

連合学習は、生データを参加者の手元に置いたまま、モデル更新情報のやり取りだけで共通のGlobal Modelを育てる分散学習の枠組みです。Federated Averagingでは、配布されたモデルを各参加者がローカル学習し、その結果をデータ量に応じた重み付き平均で集約します。参加形態は、多数の端末による不安定なクロスデバイス学習と、少数の組織による安定したクロスサイロ学習に大別されます。プライバシー保護という目的と、non-IIDや通信コストという課題をセットで理解しておきましょう。