このシリーズではE資格対策として、シラバスの内容を項目別にまとめています。
E資格まとめ
試験概要 ディープラーニングの理論を理解し、適切な手法を選択して実装する能力や知識を有しているかを認定する。 １．応用数学 （１）確率・統計 （２）情報理論 ２．機…
つくもちブログ 〜Python&AIまとめ〜 ハイパーパラメータの最適化
ハイパーパラメータの最適化は、機械学習のモデル訓練プロセスにおける重要なステップです。ハイパーパラメータはモデルの訓練方法を制御するパラメータであり、例えば学習率、正則化の強さ、決定木の深さ、ニューラルネットワークの層の数などが含まれます。これらのパラメータの値は、モデルの性能に大きな影響を及ぼします。
しかし、最適なハイパーパラメータの値は、データやタスクにより大きく異なるため、これを自動的に選択する手法が求められています。この手法がハイパーパラメータの最適化（またはハイパーパラメータチューニング）です。
ハイパーパラメータの最適化の主な手法には、グリッドサーチ、ランダムサーチ、ベイズ最適化、遺伝的アルゴリズム、シミュレーテッドアニーリング、勾配ベースの最適化などがあります。
これらの手法は、ハイパーパラメータの探索空間を異なる方法で探索します。例えば、グリッドサーチは全ての組み合わせを試し、ランダムサーチはランダムに組み合わせを選びます。一方、ベイズ最適化や勾配ベースの最適化は、過去の試行結果を利用して次に試すハイパーパラメータを選びます。
グリッドサーチとランダムサーチ
グリッドサーチは、ハイパーパラメータのすべての組み合わせを試し、最良の結果をもたらす組み合わせを選択します。例えば、ハイパーパラメータAが[1, 2, 3]と3つ、ハイパーパラメータBが[4, 5]と2つの場合、グリッドサーチは合計6つの異なる組み合わせを試します。これは以下のように視覚化できます。
グリッドサーチの例：
| A | B |
|---|---|
| 1 | 4 |
| 1 | 5 |
| 2 | 4 |
| 2 | 5 |
| 3 | 4 |
| 3 | 5 |
一方、「ランダムサーチ」は、指定された範囲内でハイパーパラメータをランダムに選択し、それらの組み合わせを試します。これはグリッドサーチに比べて計算量が大幅に少なく、また全てのハイパーパラメータが同等に重要でない場合には特に有効な方法となります。
これらの方法の選択は、利用可能な計算リソース、ハイパーパラメータの数や重要性、問題の緊急性など、さまざまな要素によって左右されます。
グリッドサーチの実装例
サポートベクターマシン (SVM) のハイパーパラメータのチューニングを考えてみましょう。SVMには「C」と「gamma」という2つの重要なハイパーパラメータがあります。
「C」は誤分類のコストを制御します。大きなCは誤分類を許容しないことを意味し、小さなCは誤分類を許容します。一方、「gamma」は決定境界の複雑さを制御します。大きなgammaはより複雑な境界を、小さなgammaは単純な境界を作成します。
例えば、Cの値を[0.1, 1, 10]、gammaの値を[0.1, 1]とした場合、グリッドサーチでは以下の6つの組み合わせを試すことになります。
グリッドサーチによるSVMのハイパーパラメータチューニング例：
| C | gamma |
|---|---|
| 0.1 | 0.1 |
| 0.1 | 1 |
| 1 | 0.1 |
| 1 | 1 |
| 10 | 0.1 |
| 10 | 1 |
これらの組み合わせに対して交差検証を行い、最も良い結果をもたらす組み合わせを選択します。これがグリッドサーチの基本的な方法です。
ランダムサーチの実装例
ランダムサーチの具体例もサポートベクターマシン (SVM) のハイパーパラメータのチューニングについて考えてみましょう。ここでも、ハイパーパラメータとして「C」と「gamma」を考えます。
「C」の値として0.1から100まで、そして「gamma」の値として0.1から1までの範囲を考えます。ランダムサーチでは、これらの範囲からランダムに値を選択します。
例えば、3回のサーチを行う場合、以下のような組み合わせが選ばれるかもしれません。
ランダムサーチによるSVMのハイパーパラメータチューニング例：
| C | gamma |
|---|---|
| 34.78 | 0.45 |
| 82.11 | 0.92 |
| 13.54 | 0.62 |
ランダムサーチは、ハイパーパラメータ空間内のランダムな組み合わせを試すことで、ハイパーパラメータの最適な設定を探索します。この表では、SVMのハイパーパラメータ ‘C’ と ‘gamma’ の値がランダムに選ばれ、それぞれの設定でモデルの性能を評価しています。この例では3つの異なるハイパーパラメータ設定が試されていますが、実際にはより多くの設定を試すことが一般的です。
その他の例
他の有名なハイパーパラメータ最適化アルゴリズムとしては「ベイズ最適化」があります。
ベイズ最適化は、過去の試行の結果を考慮に入れて、次に試すべきハイパーパラメータを選択します。具体的には、過去の試行の結果から目的関数の事後分布を推定し、その分布を最大化（または最小化）するハイパーパラメータを選択します。ベイズ最適化は、試行回数が少なくても良好な性能を発揮するため、計算リソースが限られている場合に特に有用です。
例えば、勾配ブースティングマシン（GBM）のチューニングにベイズ最適化を使用する場合、考慮すべきハイパーパラメータは「学習率」「木の深さ」「サブサンプルサイズ」などがあります。これらのパラメータの範囲を指定し、ベイズ最適化を用いて最適な組み合わせを探索します。
さらに以下のような手法もあります。
- 遺伝的アルゴリズム（Genetic Algorithms） : 遺伝的アルゴリズムは自然界の進化の原理を模倣したアルゴリズムで、最適解を探索します。個々のハイパーパラメータ設定を「個体」、その性能を「適応度」と考え、交叉、突然変異、選択のプロセスを通じて、適応度の高い新しいハイパーパラメータ設定を生成します。
- シミュレーテッドアニーリング（Simulated Annealing） : 物理学のアニーリング現象を模倣した最適化アルゴリズムで、初期の探索フェーズで大きな変更を許容し、時間と共にそれを減少させて最適な解を探索します。このアルゴリズムは局所的最適解に囚われにくいという特性があります。
- 勾配ベースの最適化（Gradient-based Optimization） : ハイパーパラメータに対する損失関数の勾配を計算し、その勾配を使ってハイパーパラメータを更新する方法です。しかし、全てのハイパーパラメータが連続的かつ微分可能である必要があり、また計算コストが大きいという難点があります。
まとめ
最後までご覧いただきありがとうございました。
