ジョルダンネットワークは、エルマンネットワークと並び称される初期RNNの代表格です。試験では単独で問われるより「エルマン型とどこが違うか」で問われることが多いキーワードなので、両者の違いを軸に理解していきましょう。
📖 ひと言でいうと
ジョルダンネットワークとは、出力層の情報を「状態ユニット」として隠れ層にフィードバックする構造を持つ、初期のRNNです。1986年にマイケル・I・ジョルダンが提案しました。例えるなら、連歌のように「自分が直前に詠んだ句(=出した答え)」を見ながら次の句を作る仕組みです。エルマンネットワークが「考えている途中のメモ(隠れ層)」を引き継ぐのに対し、ジョルダンネットワークは「清書して提出した答案(出力層)」を引き継ぎます。厳密には、どちらも過去の情報を次の時刻の隠れ層に合流させる点は同じで、何をフィードバックするかだけが異なります。
🖼 1枚でわかるジョルダンネットワーク
📘 公式テキストの説明
ジョルダンネットワーク（Jordan Network）は、再帰型ニューラルネットワーク（RNN）の一種であり、1986年にマイケル・I・ジョルダンによって提案された。このネットワークは、出力層の情報を「状態ユニット」として隠れ層にフィードバックする構造を持つ。具体的には、出力層の各ノードの出力が、次の時刻の隠れ層への追加入力として用いられる。これにより、ネットワークは過去の出力情報を保持し、時系列データの文脈を考慮した処理が可能となる。ジョルダンネットワークは、エルマンネットワーク（Elman Network）と並んで、初期のRNNモデルとして知られている。エルマンネットワークでは、隠れ層の出力を「コンテキストユニット」として次の時刻の隠れ層にフィードバックするのに対し、ジョルダンネットワークでは出力層の情報をフィードバックする点で異なる。この違いにより、ジョルダンネットワークは出力の履歴を直接的に考慮することができる。ジョルダンネットワークの構造は、入力層、隠れ層、出力層の3層から成り、隠れ層には出力層からのフィードバックが追加される。このフィードバック機構により、ネットワークは時系列データのパターン認識や予測に適している。しかし、ジョルダンネットワークは、長期的な依存関係の学習が難しいという課題があり、勾配消失問題に直面することがある。この問題を解決するために、長短期記憶（LSTM）やゲート付きリカレントユニット（GRU）などの改良モデルが開発されてきた。
この説明で最も重要なのは「出力層の情報を状態ユニットとして隠れ層にフィードバックする」という構造の記述と、エルマンネットワークとの対比です。エルマン型は隠れ層の出力を「コンテキストユニット(文脈ユニット)」として、ジョルダン型は出力層の情報を「状態ユニット」としてフィードバックする——ユニットの呼び名までセットで区別されている点に注目してください。
🔍 しっかり理解する
エルマン型との違いが最大の論点
2つの初期RNNを並べて比べると、違いは「帰還ループの出発点」の一点に集約されます。
- 帰還元: 出力層
- 保持先: 状態ユニット
- 過去の「出力の履歴」を直接考慮
- 提案者: マイケル・I・ジョルダン
- 帰還元: 隠れ層
- 保持先: コンテキストユニット(文脈ユニット)
- 内部的な特徴表現を引き継ぐ
- 提案者: ジェフリー・エルマン
どちらも「入力層・隠れ層・出力層の3層+過去を保持するユニット」という骨格は同じで、フィードバックされた情報が次の時刻の隠れ層への追加入力になる点も共通です。違いは、隠れ層というネットワーク内部の状態を渡すか、出力層という最終的な答えを渡すかです。
「出力を帰還させる」設計の意味
ジョルダン型の設計では、ネットワークは自分が過去に「何を答えたか」の履歴を直接的に考慮できます。出力層はタスクの答えそのもの(例えば分類結果や予測値)なので、フィードバックされる情報は解釈しやすく、系列的な出力のパターン——「前回こう出力したから今回はこう」という運動の連続性のような関係——を扱うのに向いた構造といえます。ジョルダンがもともと運動制御の文脈でこの構造を研究したことも、この設計と符合しています。
一方、出力層はタスクの正解形式に合わせて次元が絞られているため、隠れ層が持つ豊かな中間表現に比べると、引き継げる情報の量は限定されます。この点で、内部状態を丸ごと引き継ぐエルマン型とは情報の性質が異なります。
初期RNNとしての限界と発展
ジョルダンネットワークも、エルマン型と同じく長期的な依存関係の学習が難しいという課題を抱えており、勾配消失問題に直面することがあります。フィードバックされる情報は毎時刻の変換を繰り返し通過するため、遠い過去の影響は次第に薄れてしまうのです。この課題への回答として、ゲート機構で情報の保持と忘却を制御するLSTMやGRUが開発され、実用の主役は交代しました。現在、ジョルダンネットワークは「RNNという発想の源流」として歴史的に位置づけられています。
💡 具体例で考える
ジョルダン型の構造が活きるイメージとして、ロボットアームの動作系列の生成を考えてみましょう。アームを滑らかに動かすには、「直前にどの位置を出力したか」が次の位置の決定に直結します。出力の履歴を状態ユニットとして直接フィードバックするジョルダン型は、このような「前回の出力との連続性が重要なタスク」と相性のよい構造です。実際、ジョルダンはこうした系列的な動作の研究の中でこのネットワークを提案しました。
対照的に、文章の次の単語予測のように「答えの履歴」より「文脈の内部的な理解」が重要なタスクでは、隠れ層を引き継ぐエルマン型の設計思想が合います。同じ「過去を覚えるRNN」でも、何を覚えるかで得意分野のニュアンスが変わる——この対比を押さえると、両モデルの違いが単なる暗記ではなく設計思想の違いとして理解できます。
⚠️ よくある誤解・紛らわしい用語
- エルマンネットワークとの取り違え(最頻出) — ジョルダン=出力層を帰還、エルマン=隠れ層を帰還です。「出るのがジョルダン(出力)」など自分なりの区別を作って確実に固定しましょう。
- 保持ユニットの名前も対応が異なる — ジョルダン型は「状態ユニット」、エルマン型は「コンテキストユニット(文脈ユニット)」です。ユニット名を入れ替えた選択肢が作られ得ます。
- 提案年と提案者の混同 — ジョルダンネットワークは1986年・マイケル・I・ジョルダン、エルマンネットワークは1990年・ジェフリー・エルマンです。ジョルダン型の方が先に提案されています。
- 「初期RNNだから勾配消失は無関係」は誤り — ジョルダンネットワークも長期依存の学習が難しく、勾配消失問題に直面することがあります。だからこそLSTM・GRUという改良モデルが生まれました。
📝 試験でのポイント
- 「出力層の情報を状態ユニットとして隠れ層にフィードバックする」という構造記述からジョルダンネットワークを選ばせる形式が基本です。
- エルマンネットワークとの対比問題が最重要です。帰還元(出力層/隠れ層)・ユニット名(状態/コンテキスト)・提案年(1986/1990)・提案者の4点を対応表なしで言えるようにしておきましょう。
- 「エルマンネットワークと並んで初期のRNNモデルとして知られる」という位置づけの正誤判定が想定されます。
- 課題としての勾配消失問題と、LSTM・GRUへの発展という流れは、この節の他キーワードと共通の出題ポイントです。
📚 まとめ
ジョルダンネットワークは、1986年にマイケル・I・ジョルダンが提案した初期RNNで、出力層の情報を状態ユニットとして隠れ層にフィードバックする構造が特徴です。出力の履歴を直接考慮できる設計で、隠れ層を帰還させるエルマンネットワーク(1990年)と対をなします。長期依存の学習が難しく勾配消失問題を抱える点は初期RNN共通で、LSTM・GRUへの発展につながりました。試験対策の核心は「出力=ジョルダン、隠れ=エルマン」の区別です。
