Swish（SiLU）とは？Googleが開発した次世代の活性化関数を徹底解説

ディープラーニングの世界では、活性化関数の選択がモデルの性能を大きく左右します。長年主流だったReLUを超える性能を目指して、Googleが開発したのがSwish（スウィッシュ）という関数です。

Swishはx × sigmoid(x)という独特な形で、「自己ゲーティング（self-gating）」という仕組みを持っています。多くの実験で従来のReLUより優れた結果を出し、現在ではSiLUという名前で標準化されているんです。

この記事では、Swishの基本的な仕組みから数学的特徴、実際の性能、そして使い方まで、最新の活性化関数について分かりやすく解説していきます。次世代のニューラルネットワーク設計に興味がある方、必見です！

Swish（SiLU）とは？Googleが生み出した新世代の活性化関数
1. 基本的な定義
2. 名前の由来
Swishの数式：自己ゲーティングの仕組み
Swishのグラフ：滑らかで非単調な曲線
Swish開発の背景：Neural Architecture Searchから誕生
Swishのメリット：なぜReLUより優れているのか
Swishのデメリット：考慮すべき点
ReLUとの詳細比較
他の活性化関数との比較
Swishの実装：コードで見る使い方
Swishの応用例：実際のプロジェクトでの活用
Swishの派生と改良版
Swish選択のガイドライン：いつ使うべきか
まとめ：Swishは次世代の標準的な選択肢

Swish（SiLU）とは？Googleが生み出した新世代の活性化関数

Swishは、2017年にGoogleの研究チームが発表した活性化関数（Activation Function）です。

正式にはSiLU（Sigmoid Linear Unit：シグモイド線形ユニット）という名前で、PyTorchなどのフレームワークでは「silu」として実装されています。

基本的な定義

Swishの数式は非常にシンプルです：

Swish(x) = x × σ(x)

ここで：

x：入力値
σ(x)：sigmoid関数 = 1 / (1 + e^(-x))

つまり、入力値に、その値のsigmoidを掛け合わせるという構造なんですね。

名前の由来

Swish（スウィッシュ）という名前は、英語で「シュッと動く音」や「滑らかに動く」という意味があります。

この関数の滑らかな特性を表現した名前なんです。

SiLUへの標準化：

当初「Swish」として発表
後に数学的な正式名称として「SiLU」が提案される
現在は両方の名前が使われている

Swishの数式：自己ゲーティングの仕組み

Swishの特徴を理解するため、数式を詳しく見ていきましょう。

完全な数式展開

Swish(x) = x × σ(x) = x / (1 + e^(-x))

別の表現：

Swish(x) = x × (1 / (1 + e^(-x)))

パラメータ付きSwish（Swish-β）

実は、Swishには調整可能なバージョンもあります：

Swish(x, β) = x × σ(βx)

ここで：

β：学習可能なパラメータまたは固定値
β = 1の時、通常のSwish
β → ∞の時、ReLUに近づく
β = 0の時、線形関数（x/2）

自己ゲーティングとは？

ゲーティング（gating）とは、情報の流れを制御する仕組みのことです。

Swishの仕組み：

入力値xがそのまま「情報」
sigmoid(x)が「ゲート」（0～1の値）
ゲートが情報の通過量を調整

例：

x = 5の時：sigmoid(5) ≈ 0.99なので、ほぼ全ての情報が通過
x = 0の時：sigmoid(0) = 0.5なので、半分の情報が通過
x = -5の時：sigmoid(-5) ≈ 0.01なので、ほとんど通過しない

入力値自身が自分のゲートを決める、これが「自己ゲーティング」なんです。

Swishのグラフ：滑らかで非単調な曲線

Swishのグラフには、他の活性化関数にない独特の特徴があります。

グラフの基本特性

形状：

滑らかな曲線
原点付近でわずかに負の値を取る
正の領域では直線に近づく

重要なポイント：

x = 0の時：

Swish(0) = 0

x = -1の時：

Swish(-1) ≈ -0.28（わずかに負）

x = 1の時：

Swish(1) ≈ 0.73

x = 3の時：

Swish(3) ≈ 2.86（ほぼxに近い）

x > 3の領域：

ほぼSwish(x) ≈ xの直線に

非単調性という特徴

非単調（non-monotonic）とは、「常に増加し続けるわけではない」という意味です。

Swishの特殊な点：

負の領域でわずかに下がってから上昇する
x ≈ -1.28付近で最小値（約-0.28）を取る
その後は単調増加

この「下がってから上がる」という性質が、他の活性化関数にない独自の特徴なんです。

微分の特徴

Swishの微分は以下のように計算されます：

d/dx Swish(x) = Swish(x) + σ(x) × (1 – Swish(x))

または：

d/dx Swish(x) = σ(x) × (1 + x × (1 – σ(x)))

微分の特性：

常に微分可能（滑らか）
x = 0付近でも連続的な勾配
負の領域でも勾配が存在
ReLUのような不連続点がない

Swish開発の背景：Neural Architecture Searchから誕生

Swishの誕生には興味深い経緯があります。

Google Brainの研究

2017年、Google BrainのPrajit Ramachandranらの研究チームが、自動探索手法を使って最適な活性化関数を探しました。

研究の手法：

Neural Architecture Search（NAS）を使用
様々な数学関数の組み合わせを自動的に試す
実際の性能を評価
最良の関数を発見

結果：

発見された関数が「x × sigmoid(x)」
これをSwishと命名
複数のベンチマークでReLUを上回る性能

人間の直感を超える設計

興味深い点：

人間が事前に設計したのではない
機械学習が「良い活性化関数」を見つけた
シンプルながら効果的な形

これはAIがAIの設計を改善するという、メタ学習の成功例なんですね。

学術的な評価

論文の発表：

2017年に「Searching for Activation Functions」として発表
多くの研究者が追試験を実施
様々な分野で有効性が確認される

現在の位置づけ：

最新のアーキテクチャで広く採用
Transformer系モデルでも使用
標準的な選択肢の1つに

Swishのメリット：なぜReLUより優れているのか

Swishが注目される理由を詳しく見ていきましょう。

1. 滑らかな勾配

ReLUの問題：

x = 0で微分不可能（厳密には）
負の領域で勾配が完全にゼロ

Swishの利点：

すべての点で微分可能
負の領域でも小さな勾配が存在
学習がより安定する

具体的な効果：

勾配の流れが途切れない
バックプロパゲーションが効果的
深いネットワークでも学習可能

2. 負の値の情報を保持

ReLUの制限：

負の入力は完全にゼロになる
負の情報が失われる

Swishの特徴：

負の領域でも小さな値を出力
負の情報を部分的に保持
より豊かな表現力

実際の影響：

より複雑なパターンを学習
表現力の向上
特徴抽出の改善

3. 自己ゲーティング機構

独特の仕組み：

入力値自身が情報の流れを制御
動的な非線形性
状況に応じた柔軟な変換

効果：

より適応的な表現
文脈依存の特徴抽出
モデルの表現力向上

4. 深層ネットワークでの性能

実験結果：

ImageNetなどの画像認識タスクで改善
特に深いネットワーク（ResNet、Inceptionなど）で効果的
トレーニング精度と検証精度の両方で向上

性能向上の例：

ResNet-50でTop-1精度が約0.5～1%向上
特に難しいタスクで顕著な改善

5. 勾配消失問題の軽減

問題の軽減：

負の領域でも勾配が存在
sigmoidのような完全な飽和を避ける
深い層まで勾配が届きやすい

Swishのデメリット：考慮すべき点

優れた特性を持つSwishですが、欠点もあります。

1. 計算コストの増加

ReLUの計算：

単純な比較演算（max(0, x)）
非常に高速

Swishの計算：

sigmoid関数の計算（指数関数を含む）
乗算も必要
ReLUより約3～5倍遅い

実際の影響：

大規模モデルでは訓練時間が増加
リアルタイム推論では遅延が問題になる場合も

2. メモリ使用量の増加

バックプロパゲーション時：

sigmoid(x)の値を保持する必要
中間計算結果のメモリ消費
大規模モデルでは無視できない

3. 実装の複雑さ

ReLUの実装：

def relu(x):
    return max(0, x)  # 1行で完結

Swishの実装：

def swish(x):
    return x * sigmoid(x)  # sigmoidの実装も必要

問題点：

カスタムハードウェアでの最適化が難しい
組み込みシステムでは不利

4. 負の値の扱い

予期しない挙動：

負の領域で非単調（下がってから上がる）
直感的でない動作
デバッグが難しくなる場合も

5. すべてのタスクで優位とは限らない

タスクによる差：

画像認識では効果的
しかし一部のタスクではReLUと同等
常に最良の選択とは限らない

選択の判断：

性能向上が計算コスト増を正当化するか
タスクの特性を考慮

ReLUとの詳細比較

Swishの最大の比較対象はReLUです。

数式の比較

ReLU：

ReLU(x) = max(0, x)

Swish：

Swish(x) = x × sigmoid(x)

特性の比較表

出力範囲：

ReLU：[0, ∞)
Swish：約[-0.28, ∞)

微分可能性：

ReLU：x = 0で不連続
Swish：すべての点で微分可能

計算速度：

ReLU：非常に速い
Swish：やや遅い（3～5倍）

負の値の扱い：

ReLU：完全にゼロ
Swish：小さな負の値を保持

勾配消失：

ReLU：Dying ReLU問題
Swish：負の領域でも勾配あり

性能比較（実験結果）

ImageNet画像分類：

ResNet-50でSwishを使用
Top-1精度が0.5～1%向上
ただし訓練時間が約10～15%増加

CIFAR-10：

小規模データセットでも改善
ただし差は小さい場合も

機械翻訳（Transformer）：

BLEUスコアでわずかな改善
計算コストとのトレードオフ

使い分けの指針

ReLUを選ぶべき場合：

計算リソースが限られている
リアルタイム推論が必要
軽量なモデルを構築
十分な性能が得られている

Swishを選ぶべき場合：

最高性能を追求
計算リソースに余裕がある
深いネットワーク
画像認識など視覚系タスク

他の活性化関数との比較

Swish以外にも様々な活性化関数があります。

GELU（Gaussian Error Linear Unit）

定義：

GELU(x) = x × Φ(x)

ここでΦ(x)は標準正規分布の累積分布関数

Swishとの関係：

非常に似た形状
GELUは確率論的な解釈を持つ
Transformerで広く使用される

比較：

性能はほぼ同等
GELUの方が理論的背景が強い
計算コストも同程度

Mish

定義：

Mish(x) = x × tanh(softplus(x))

ここでsoftplus(x) = ln(1 + e^x)

特徴：

Swishをさらに改良
より滑らかな曲線
一部のタスクでSwishを上回る

欠点：

計算コストがさらに高い
実装が複雑

ELU（Exponential Linear Unit）

定義：

ELU(x) = x（x > 0）
ELU(x) = α(e^x - 1)（x ≤ 0）

比較：

負の領域で指数関数的
Swishより計算が速い
性能はタスクによる

Leaky ReLU

定義：

Leaky ReLU(x) = max(0.01x, x)

比較：

非常にシンプル
計算が速い
Swishほどの表現力はない

Swishの実装：コードで見る使い方

実際にSwishを実装・使用する方法を見ていきましょう。

NumPyでの基本実装

import numpy as np

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

def swish(x):
    return x * sigmoid(x)

# 使用例
x = np.array([-3, -1, 0, 1, 3])
y = swish(x)
print(y)
# 出力: [-0.14227764 -0.26894142  0.          0.73105858  2.85772236]

パラメータ付きSwish

def swish_beta(x, beta=1.0):
    return x * sigmoid(beta * x)

# beta = 1.5の場合
y = swish_beta(x, beta=1.5)

微分の実装

def swish_derivative(x):
    sig = sigmoid(x)
    return sig * (1 + x * (1 - sig))

# または
def swish_derivative_from_output(x, swish_output):
    sig = sigmoid(x)
    return swish_output + sig * (1 - swish_output)

PyTorchでの実装

標準実装を使用：

import torch
import torch.nn as nn

# SiLUとして実装されている
activation = nn.SiLU()

# または関数として
x = torch.randn(10, 20)
y = torch.nn.functional.silu(x)

カスタム実装：

class Swish(nn.Module):
    def forward(self, x):
        return x * torch.sigmoid(x)

# 使用
swish = Swish()
output = swish(input_tensor)

TensorFlow/Kerasでの実装

import tensorflow as tf
from tensorflow.keras import layers

# Kerasレイヤーとして
class SwishActivation(layers.Layer):
    def call(self, x):
        return x * tf.nn.sigmoid(x)

# モデルで使用
model = tf.keras.Sequential([
    layers.Dense(64),
    SwishActivation(),
    layers.Dense(10)
])

TensorFlow 2.x以降：

# 標準実装
x = tf.nn.swish(input_tensor)

# またはレイヤーとして
model.add(layers.Activation('swish'))

Hard Swishの実装

計算効率を改善したバージョンです：

def hard_swish(x):
    return x * np.minimum(np.maximum(x + 3, 0), 6) / 6

# PyTorchでは
hard_swish = nn.Hardswish()

Swishの応用例：実際のプロジェクトでの活用

Swishは様々な最新モデルで採用されています。

1. EfficientNet

Googleのモデル：

画像分類の最先端モデル
Swishを全体で使用
高精度と高効率を両立

効果：

ImageNetでトップクラスの性能
パラメータ数を抑えつつ高精度

2. MobileNetV3

モバイル向けモデル：

スマートフォンでの推論を想定
Hard Swishを採用（計算効率重視）
リアルタイム処理が可能

Hard Swishの理由：

計算コストを削減
モバイルCPUで高速動作
精度の低下を最小限に

3. Vision Transformer（ViT）の変種

Transformerベースの画像認識：

一部の実装でSwish/GELUを使用
自己注意機構との組み合わせ
高い表現力

4. 自然言語処理モデル

BERTやGPTの変種：

FFN（Feed-Forward Network）でSwish/GELUを使用
文脈理解の向上
言語モデルの性能改善

5. 物体検出モデル

YOLOやEfficientDetなど：

バックボーンネットワークでSwishを採用
検出精度の向上
リアルタイム性能とのバランス

6. 生成モデル

GANやVAE：

生成器や識別器でSwishを使用
より滑らかな生成結果
モード崩壊の軽減

Swishの派生と改良版

Swishの成功を受けて、様々な改良版が提案されています。

1. Hard Swish

定義：

Hard Swish(x) = x × ReLU6(x + 3) / 6

ここでReLU6(x) = min(max(0, x), 6)

特徴：

区分線形関数（折れ線）
計算が非常に速い
Swishの近似として機能

使用例：

MobileNetV3で採用
エッジデバイス向け

2. Mish

定義：

Mish(x) = x × tanh(softplus(x))

特徴：

Swishより滑らか
一部のタスクで性能向上
計算コストは高い

実験結果：

画像分類で若干の改善
物体検出でも効果的

3. FReLU（Funnel ReLU）

概念：

空間的な文脈を考慮
畳み込み操作と組み合わせ
Swishの考え方を発展

4. GELU（再掲）

Swishとの関係：

独立に提案されたが形状が似ている
確率論的な解釈を持つ
Transformerで標準的

数学的表現：

GELU(x) ≈ 0.5x(1 + tanh(√(2/π)(x + 0.044715x³)))

5. Parametric Swish

定義：

Swish(x, β) = x × sigmoid(βx)

特徴：

βを学習可能なパラメータに
タスクに応じて最適化
柔軟性が高い

Swish選択のガイドライン：いつ使うべきか

実際のプロジェクトでSwishを選ぶべきか、判断基準をまとめました。

Swishを積極的に使うべき場合

1. 最高性能を追求するとき

研究プロジェクト
ベンチマークでの上位を目指す
計算リソースに制限がない

2. 深いネットワークを構築

50層以上のモデル
ResNetやEfficientNetなどの構造
勾配の流れが重要

3. 画像認識タスク

ImageNetなどの大規模データセット
複雑な視覚パターンの学習
CNNベースのモデル

4. Transformerベースのモデル

Vision Transformer
自然言語処理モデル
自己注意機構との組み合わせ

ReLUを選ぶべき場合

1. 計算リソースが限られる

エッジデバイス
モバイルアプリケーション
リアルタイム処理が必須

2. シンプルさを重視

プロトタイプ開発
学習目的のプロジェクト
デバッグのしやすさ

3. 既存のアーキテクチャを使用

実績のあるモデル構造
大幅な変更を避けたい
安定性重視

Hard Swishを検討すべき場合

1. モバイル向けモデル

スマートフォンでの推論
バッテリー消費を抑えたい
Swishの利点を部分的に得たい

2. 量子化を予定

INT8などの低精度計算
ハードウェアアクセラレータ使用
推論速度の最適化

実験して比較

推奨アプローチ：

まずReLUでベースラインを構築
Swishに変更して性能を測定
計算時間とのトレードオフを評価
タスクに応じて最終決定

測定すべき指標：

訓練時間
推論速度
メモリ使用量
精度指標（accuracy、F1など）

まとめ：Swishは次世代の標準的な選択肢

Swishは、機械学習による自動探索から生まれた革新的な活性化関数です。

この記事のポイント：

Swishはx × sigmoid(x)という自己ゲーティング関数
Googleが自動探索で発見した最適化された形
ReLUより滑らかで表現力が高い
負の値も部分的に保持し情報を失わない
深層ネットワークで優れた性能を発揮
計算コストはReLUより高い（3～5倍）
SiLUとして標準化され、主要フレームワークで実装済み
EfficientNet、MobileNetV3など最新モデルで採用
Hard Swishなどの改良版も登場
タスクとリソースに応じて選択が重要

Swishは万能ではありませんが、適切な場面で使えば確実に性能向上をもたらします。

特に画像認識や深層ネットワークでは、ReLUから乗り換える価値が十分にあるでしょう。計算コストとのトレードオフを考慮しながら、ぜひ自分のプロジェクトで試してみてください。

機械学習の世界は日々進化しています。Swish/SiLUのような新しい技術を積極的に取り入れることで、より高性能なモデルを構築できるはずです！

Swish（SiLU）とは？Googleが生み出した新世代の活性化関数

基本的な定義

名前の由来

Swishの数式：自己ゲーティングの仕組み

完全な数式展開

パラメータ付きSwish（Swish-β）

自己ゲーティングとは？

Swishのグラフ：滑らかで非単調な曲線

グラフの基本特性

非単調性という特徴

微分の特徴

Swish開発の背景：Neural Architecture Searchから誕生

Google Brainの研究

人間の直感を超える設計

学術的な評価

Swishのメリット：なぜReLUより優れているのか

1. 滑らかな勾配

2. 負の値の情報を保持

3. 自己ゲーティング機構

4. 深層ネットワークでの性能

5. 勾配消失問題の軽減

Swishのデメリット：考慮すべき点

1. 計算コストの増加

2. メモリ使用量の増加

3. 実装の複雑さ

4. 負の値の扱い

5. すべてのタスクで優位とは限らない

ReLUとの詳細比較

数式の比較

特性の比較表

性能比較（実験結果）

使い分けの指針

他の活性化関数との比較

GELU（Gaussian Error Linear Unit）

Mish

ELU（Exponential Linear Unit）

Leaky ReLU

Swishの実装：コードで見る使い方

NumPyでの基本実装

パラメータ付きSwish

微分の実装

PyTorchでの実装

TensorFlow/Kerasでの実装

Hard Swishの実装

Swishの応用例：実際のプロジェクトでの活用

1. EfficientNet

2. MobileNetV3

3. Vision Transformer（ViT）の変種

4. 自然言語処理モデル

5. 物体検出モデル

6. 生成モデル

Swishの派生と改良版

1. Hard Swish

2. Mish

3. FReLU（Funnel ReLU）

4. GELU（再掲）

5. Parametric Swish

Swish選択のガイドライン：いつ使うべきか

Swishを積極的に使うべき場合

ReLUを選ぶべき場合

Hard Swishを検討すべき場合

実験して比較

まとめ：Swishは次世代の標準的な選択肢

Youtube

カテゴリー別人気記事

コメント