[機械学習]ディープラーニングで使われる勾配降下法とは

AI

どうも、ちょげです。

ディープラーニングのような機械学習では、パラメータを更新するためによく勾配降下法というのを用います。

勾配降下法によって、パラメータを最適に更新することが可能となります。

では、勾配降下法とはどのようなものなのでしょうか。

スポンサーリンク

勾配降下法は勾配と損失関数のコラボ

勾配降下法は、勾配を用いて関数の最小値に向かうことでパラメータを最適に更新する方法です。

ここでの関数は損失関数というのを使います。

損失関数についてはこちらの記事で解説しています。

損失関数は簡単に言うと、「関数の値が小さくなるほどパラメータが最適だよ」っていう関数です。

機械学習では、この損失関数を最小値にするのが目標となります。

では、どんようにすれば最小値に出来るのでしょうか。

ここで登場するのが勾配です。

勾配とは、偏微分というので求められるものなのですが、イメージとしてはある地点から見た1番値が低くなる所への矢印です。

この勾配を使って、損失関数が小さくなるようにしていくのが勾配降下法です。

勾配を用いて損失関数を小さくしていくので、勾配降下法な訳です。

スポンサーリンク

まとめ

勾配降下法について解説しました。

まとめると、勾配を用いて損失関数が小さくなるようにパラメータを更新する方法です。

読んでいただきありがとうございます。

少しでも参考になれば嬉しいです。

スポンサーリンク

参考になった本

ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装 | 斎藤 康毅 |本 | 通販 | Amazon
Amazonで斎藤 康毅のゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装。アマゾンならポイント還元本が多数。斎藤 康毅作品ほか、お急ぎ便対象商品は当日お届けも可能。またゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装もアマゾン配送商品...

コメント

タイトルとURLをコピーしました