[ディープラーニング]損失関数の使い分け

2021.03.102021.11.16

どうもー、ちょげです。

ディープラーニングでは、精度の指標として損失関数というのを使っています。

主な損失関数には、「交差エントロピー誤差」や「二乗和誤差」の2つがあります。

この2つはどのように使い分けらているのでしょうか。

出力層の活性化関数で決まる

どちらの損失関数を用いるのかは出力層の活性化関数で決まります。

出力層の活性化関数は、ディープラーニングで取り組む問題が分類問題の場合は「ソフトマックス関数」、回帰問題の場合は「恒等関数」を使います。

分類問題と回帰問題

分類問題とは、どのグループに属するかを分類する問題です。
例としては、画像が男性なのか女性なのか分類するようなものです

回帰問題は、具体的な数値を予測する問題です。
例としては、株価のようなものです。

そして、「ソフトマックス関数」を使うなら「交差エントロピー誤差」を使います。

というのも、「交差エントロピー誤差」は、「ソフトマックス関数」を用いたニューラルネットワークで逆伝播した際に、（出力値ー正解値）が出力されるように設計されているからです。

（出力値ー正解値）というのは、パッと見てわかる通り誤差です。

「交差エントロピー誤差」を「ソフトマックス関数」が活性化関数の時に使えば、単純な誤差を表わす式が出るようになっているのです。

出力層に「恒等関数」を用いる場合は、「二乗和誤差」を使います。

理由は、「交差エントロピー誤差」と同じです。

損失関数の使い分け方について解説しました。

読んでいただきありがとうございました。

少しでも参考になれば嬉しいです。