最急降下法と勾配降下法の違いは？
最急降下法（Gradient Descent）と勾配降下法（Gradient Descent）は、一般的には同じアルゴリズムを指す場合が多いです。しかし、厳密に言えば、「最急降下法」は特にバッチ勾配降下法（Batch Gradient Descent）を指すことが多く、「勾配降下法」はその派生として、確率的勾配降下法（Stochastic Gradient Descent, SGD）やミニバッチ勾配降下法（Mini-batch Gradient Descent）などの変種を含むことがあります。
最急降下法と勾配降下法の主な違い
バッチサイズの違い:
最急降下法: 訓練データセット全体を一度に使用して、目標関数の勾配を計算します。これにより、確実な収束が期待できますが、計算コストが高いことがあります。
勾配降下法: 訓練データを一つずつサンプルとして処理する確率的勾配降下法（SGD）や、少数のデータ点（ミニバッチ）を使うミニバッチ勾配降下法など、より小さなバッチサイズを使用することが一般的です。これにより、計算効率が向上し、局所最小値から抜け出す可能性が高まります。
更新の頻度の違い:
最急降下法: バッチ勾配降下法は、訓練データセット全体に対する勾配を計算し、一度の更新でパラメータを更新します。
勾配降下法: SGDやミニバッチ勾配降下法では、各データ点またはミニバッチごとにパラメータを更新します。そのため、更新の頻度が高くなります。
収束の速さの違い:
最急降下法：バッチサイズが大きい場合、収束が遅くなることがありますが、収束がより滑らかです。
勾配降下法：更新が頻繁でノイズが多いため、収束が速い反面、収束先が局所最小値から離れる可能性が高いです。 どちらの方法が最適かは、特定の問題やデータに依存します。大規模なデータセットや高次元のパラメータ空間では、ミニバッチ勾配降下法が一般的に使われ、計算効率が向上します。ただし、適切な学習率の設定や収束の制御が重要です。選択肢には、学習率のスケジューリングやモメンタムなどの手法も含まれます。
参考）勾配降下法の直観的な説明
あなた目隠しをしながら山を登っていて、山の頂上に行くのが目標です。でも、山の中にはたくさんの坂道があります。あなたは一歩一歩登っているとします。登る途中で、どの方向に進むべきかを知る必要があります。ここで、山を登るためのヒントを得るのが「勾配」です。
勾配は、あなたがいる場所から、山のどの方向が一番急な坂道かを教えてくれるものです。つまり、勾配は「上り坂」の方向を指し示しています。あなたはその方向に進むことで、山の頂上に近づくことができます。
勾配降下法はこの考え方を使います。AIモデルを訓練する際、「山」のような目標関数を最小化したいと考えます。現在の場所（モデルのパラメータ）から、どの方向が目標関数を最も減少させるかを勾配（上り坂の方向）から学びます。
人間であれば足元の感覚で勾配がわかりますが、AIには足がないのでわかりません。そこで、AIは代わりに「微分」というテクニックを使います。
以上をまとめると、
- 現在の場所（パラメータ）を確認します。
- 勾配（上り坂の方向）を計算します。足の代わりに微分を使います。
- 勾配の方向に一歩進みます。歩幅は「学習率」と呼ばれます。
AIはこのステップを繰り返し、目標関数を最小化するために一歩ずつ進んで学習していきます。勾配降下法は、山登りのように、最小値を見つけるために次第に良い方向に進んでいく方法です。
