【G検定まとめ2026】17.全結合層

1. 全結合層の概要を理解する

全結合層は、ニューラルネットワークを構成する重要な要素の一つです。この層の特徴は、前の層のすべてのニューロンが次の層のすべてのニューロンと接続している点にあります。全結合層の主な機能は、入力された特徴を組み合わせて、より高度な特徴を抽出することです。この層の動作は次のように説明できます。まず、層に入力された特徴に重みを掛けて合計します。その後、得られた値に活性化関数を適用して出力を生成します。この過程を通じて、入力データの複雑な特徴を捉えることができるのです。畳み込みニューラルネットワーク（CNN）では、通常、畳み込み層とプーリング層を繰り返した後に全結合層を配置します。CNNの全結合層では、特徴マップを1列に並べ替える処理を行います。これにより、2次元の特徴マップを1次元のベクトルに変換し、次の層へ入力できるようになります。全結合層の長所は、入力データの全体的な特徴を捉えられることです。

一方で、パラメータ数が多くなりやすいという課題もあります。この課題に対応するため、近年では全結合層の代わりにGlobal Average Poolingと呼ばれる処理を用いることもあります。この方法では、特徴マップの平均値を1つのユニット（ニューロン）の値として使用します。全結合層は、画像認識や自然言語処理など、様々な分野のディープラーニングモデルで使用されています。入力データの全体的な特徴を捉える能力が高いため、多くの場合でモデルの最終層付近に配置されます。

2. 全結合層のパラメータ数について理解する

ニューラルネットワークの基本的な構成要素である全結合層は、入力と出力のすべてのユニットが互いに接続されている層です。この構造により、入力データの特徴を効果的に学習し、出力を生成することができます。全結合層の働きを深く理解するためには、そのパラメータ数を正確に把握することが重要です。全結合層のパラメータ数は、入力ユニット数と出力ユニット数によって決まります。具体的には、以下の計算式で求めることができます。

パラメータ数 = (入力ユニット数 × 出力ユニット数) + 出力ユニット数

この式の前半部分は重みの数を表し、後半部分はバイアスの数を表しています。各出力ユニットは、すべての入力ユニットとの接続に対応する重みを持ち、さらに1つのバイアスを持っています。例えば、入力ユニット数が100で出力ユニット数が10の全結合層の場合、パラメータ数は次のように計算されます。

パラメータ数 = (100 × 10) + 10 = 1,010

つまり、この全結合層には1,000個の重みと10個のバイアス、合計1,010個のパラメータが存在することになります。

全結合層のパラメータ数を理解することは、ネットワーク全体の複雑さや学習に必要な計算リソースを把握する上で非常に大切です。パラメータ数が多すぎると過学習のリスクが高まり、少なすぎると十分な学習能力を持たない可能性があります。そのため、適切なネットワーク設計を行う際には、各層のパラメータ数を慎重に検討する必要があります。また、全結合層のパラメータ数は、ネットワークの層を深くしていくと急速に増加していきます。これは、ディープラーニングモデルが非常に多くのパラメータを持つ理由の一つでもあります。したがって、効率的なモデル設計や最適化手法の選択が、実用的なディープラーニングシステムの開発において重要な課題となっています。

3. ディープラーニングにおける全結合層の役割を説明できる

全結合層の主な機能は、入力された特徴に重みを掛け、それらの合計を計算してユニットの値を決定することです。畳み込みニューラルネットワーク（CNN）では、通常、畳み込み層やプーリング層の後に全結合層を配置します。全結合層を使用する前に、特徴マップを1列に並べ替える処理を行います。この処理により、2次元や3次元の構造を持つ特徴マップを1次元のベクトルに変換し、全結合層で処理できるようにします。全結合層の主要な目的は、前の層で抽出された特徴を組み合わせて、より高度な特徴を学習することです。

例えば、画像認識タスクでは、畳み込み層やプーリング層で抽出された局所的な特徴を全結合層で統合し、画像全体の特徴を捉えることができます。また、全結合層は出力層の直前に配置されることが多く、最終的な分類や回帰のための特徴表現を学習する機能も果たしています。ネットワークの最後に全結合層を置くことで、タスクに応じた出力を得ることができます。ただし、全結合層にはパラメータ数が多くなりやすいという特徴があります。これは学習に時間がかかる原因となり、過学習のリスクも高めます。そのため、最近では全結合層の代わりにGlobal Average Poolingと呼ばれる手法を用いることもあります。この手法では、特徴マップの平均値を1つのユニット（ニューロン）の値とすることで、パラメータ数を大幅に減らしつつ、全体の特徴を捉えることができます。

---

キーワード解説

重み

ニューラルネットワーク内の各ノード（ニューロン）が次の層のノードに情報を伝達する際に用いる数値パラメータを指す。この重みは、モデルが学習データに基づいて予測を行う際の調整要素となり、モデルの出力精度に直接影響を与える。たとえば、入力データがネットワークを通過する際、各ノードでは「重み」を掛け合わせた値が合計され、さらに「バイアス」と呼ばれる補正値を加える。この合計値に活性化関数が適用されて次のノードへと伝わり、最終的な予測出力へと繋がる。重みの学習は誤差逆伝播法（バックプロパゲーション）と呼ばれるアルゴリズムを用いて行われる。このアルゴリズムでは、まず出力の誤差（損失関数で測定）を計算し、各重みがその誤差にどの程度寄与しているかを求めて、勾配降下法などで最適化を行う。勾配降下法では、誤差が減少するように重みが徐々に調整され、これを繰り返すことでモデルの精度が高まる。こうした重みの調整は、自然言語処理や画像認識といった実用的なディープラーニングモデルの性能を支えている。また、適切な重みの設定には初期化と学習率の調整も重要である。例えば、重みの初期化方法としてHe初期化やXavier初期化が用いられ、これにより初期段階で勾配消失や爆発といった問題が発生しにくくなる。重みの最適化にはAdamや確率的勾配降下法（SGD）などの手法も活用され、これらの調整によって効率的で安定した学習が可能になる。

線形関数

ディープラーニングにおける全結合層（fully-connected layer）は、各ニューロンが前層のすべての出力に対して重みを持ち、線形関数を使って入力から出力を生成する層である。この線形関数は、入力ベクトルと重み行列の積にバイアス項を加えたもので表現される。この計算はアフィン変換とも呼ばれ、全結合層はこの線形変換によって次の層に情報を伝達する。この線形関数を用いるだけではモデルが単なる線形回帰と同等になり、表現力が限られてしまうため、通常はReLUやシグモイド関数などの非線形活性化関数を各層に追加する。この活性化関数がないと、複数の層を重ねても結局全体として線形のままとなり、複雑な関数を学習することができない。したがって、全結合層は線形変換を行い、そこに非線形性を導入することでディープラーニングモデルの表現力が高まる。全結合層はまた、画像認識モデルの終盤で特徴を抽出して分類する役割を担うことが多いが、最近ではより効率的な計算が可能な層と組み合わせて使用されることも一般的である。