最近、いろいろな場面で「トークン」という言葉を聞くようになりました。
しかし、その意味は使われる場面によって全く違うんです。
この記事では、トークンの3つの主な意味を分かりやすく解説します。
トークンとは?元々の意味
トークン(token)は、元々英語で「象徴」「しるし」「証拠」「引換券」といった意味を持つ言葉です。
つまり、何か別の価値を代替するものという共通点があります。
現代では、この基本的な意味から派生して、主に以下の3つの分野で使われています。
- AI・言語モデルのトークン:文章を処理する単位
- 暗号資産のトークン:ブロックチェーン上のデジタル資産
- 認証トークン:セキュリティのための認証ツール
それぞれ全く違う意味なので、一つずつ詳しく見ていきましょう。
1. AI・言語モデルのトークン
AIトークンとは
AI分野でのトークンとは、AIが文章を理解・生成するための基本単位のことです。
ChatGPTやGeminiなどの生成AIが、私たちの言葉を理解する際に使っています。
例えば、「私はAIが好きです」という文章は、AIによって以下のように分割されます。
- 「私」「は」「AI」「が」「好き」「です」
この分割された一つ一つがトークンです。
日本語の場合、7つのトークンに分かれたので「トークン数は7」となります。
トークン化の仕組み
AIは人間のように文章をそのまま理解できません。
そのため、まずテキストをトークンという小さな単位に分割(トークン化)してから処理します。
トークン化の方法
- 単語トークン化:単語ごとに分割する方法
- 文字トークン化:文字ごとに分割する方法
- サブワードトークン化:単語を部分的に分割する方法
GPTシリーズやGeminiなどの主要なAIモデルは、サブワードトークン化という方式を採用しています。
この方式は、頻繁に使われる単語はそのまま1トークンとして扱い、珍しい単語は細かく分割するという柔軟な方法です。
トークンが重要な理由
トークンは、AI利用において2つの重要な役割を持っています。
1. 処理能力の制限
AIモデルには、一度に処理できるトークン数に上限があります。
これを「コンテキストウィンドウ」といい、例えばGPT-4では約128,000トークンまで処理可能です。
長い文章を入力すると、この上限を超えて途中で切れてしまうことがあります。
2. 利用料金の計算
生成AIのAPI(プログラムから利用する仕組み)を使う場合、料金はトークン数で計算されます。
入力したトークン数と出力されたトークン数の合計によって、利用料金が決まるのです。
言語によるトークン数の違い
実は、同じ内容でも言語によってトークン数が変わります。
英語は1単語が1トークンになることが多いですが、日本語は助詞や活用語尾も別々にカウントされるため、英語の約2倍のトークン数になる傾向があります。
例えば、「I love AI」は3トークンですが、「私はAIが好きです」は6〜7トークンになります。
2. 暗号資産(仮想通貨)のトークン
暗号資産のトークンとは
暗号資産の世界では、トークンは既存のブロックチェーン技術を利用して発行されたデジタル資産のことを指します。
ビットコイン(BTC)やイーサリアム(ETH)などは独自のブロックチェーンを持っていますが、トークンは既存のブロックチェーン(主にイーサリアム)を間借りして作られた暗号資産です。
コインとトークンの違い
暗号資産の世界では、「コイン」と「トークン」が区別されることがあります。
コイン(独自ブロックチェーン)
- ビットコイン(BTC)
- イーサリアム(ETH)
- リップル(XRP)
- 独自のブロックチェーンを持つ
- 発行者が存在しない
トークン(既存ブロックチェーン利用)
- ダイ(DAI)
- シバイヌ(SHIB)
- 各種NFT
- 既存のブロックチェーンを利用
- 企業や団体が発行・管理
ただし、広い意味では暗号資産全体を「トークン」と呼ぶこともあり、文脈によって意味が変わるので注意が必要です。
トークンの種類
暗号資産のトークンには、主に以下の種類があります。
ユーティリティトークン
特定のサービスやプラットフォーム内で利用できるトークンです。
まるでゲーム内通貨やポイントのようなもので、そのサービスの対価として使えます。
セキュリティトークン
株式や不動産など、実在する資産の権利を表すトークンです。
ブロックチェーン上で資産の所有権を管理できます。
ペイメントトークン
決済手段として使えるトークンです。
法定通貨と連動した「ステーブルコイン」などがこれに該当します。
NFT(非代替性トークン)
デジタルアートやコレクションなど、唯一無二のデジタル資産を表すトークンです。
他のトークンと交換できない(非代替性)という特徴があります。
トークンの特徴
誰でも発行できる
トークンは、技術的な知識があれば個人や企業が自由に発行できます。
ただし、適切な技術力や資金、場合によっては法的対応も必要です。
発行者が存在する
ビットコインなどのコインと違い、トークンには発行者や管理者が存在します。
ただし、一度発行したトークンの総数を後から変更することはできません。
付加価値を持つ
通貨としての価値に加え、特定のサービスへのアクセス権や議決権など、追加の機能を持つことができます。
3. 認証トークン(セキュリティ)
認証トークンとは
セキュリティ分野でのトークンとは、ワンタイムパスワードを生成するツールのことです。
オンラインバンキングやクラウドサービスのログイン時に、追加の本人確認として使われます。
ワンタイムパスワードの仕組み
ワンタイムパスワード(OTP)は、一度だけ使える使い捨てのパスワードです。
通常30秒〜数分程度の有効期限があり、時間が経過すると無効になります。
通常のパスワードと組み合わせて使うことで、セキュリティを大幅に強化できます。
これを「二段階認証」や「多要素認証」といいます。
トークンの種類
認証トークンには、大きく分けて2つの種類があります。
ハードウェアトークン
カード型やキーホルダー型の専用機器です。
ボタンを押すとワンタイムパスワードが液晶画面に表示されます。
メリット:
- ウイルス感染のリスクが低い
- 安定した動作
デメリット:
- 紛失や破損のリスク
- 電池切れの可能性
- 別途持ち運ぶ必要がある
ソフトウェアトークン
スマートフォンアプリやパソコンのソフトウェアです。
アプリをインストールするだけで使えます。
メリット:
- 専用機器が不要
- スマホ一つで完結
- 無料で利用可能
デメリット:
- 端末のセキュリティ対策が必要
- スマホを紛失すると使えない
最近は、ハードウェアトークンよりもスマホアプリを使うソフトウェアトークンが主流になっています。
ワンタイムパスワードの受け取り方
トークン以外にも、ワンタイムパスワードを受け取る方法があります。
SMS(ショートメッセージ)
登録した電話番号にワンタイムパスワードが送られてきます。
最も一般的な方法ですが、SIMカードの乗っ取り(SIMスワップ攻撃)のリスクがあります。
メール
登録したメールアドレスにワンタイムパスワードが送られてきます。
フリーメールよりもキャリアメールの方が安全です。
電話音声
機械音声でワンタイムパスワードが伝えられます。
ワンタイムパスワードの生成方式
時刻同期方式(TOTP)
現在の時刻を基にパスワードを生成する方式です。
最も広く使われている方法で、GoogleAuthenticatorなどのアプリがこの方式を採用しています。
カウンタ同期方式(HOTP)
ボタンを押した回数(カウント)に応じてパスワードを生成する方式です。
認証トークンのメリット
セキュリティの向上
仮に通常のパスワードが漏れても、ワンタイムパスワードがなければログインできません。
一度使ったパスワードは無効になるため、盗み見されても再利用できないのです。
パスワード攻撃に強い
ランダムに生成されるため、総当たり攻撃(ブルートフォースアタック)に強いです。
トークンの使い分け
同じ「トークン」という言葉でも、分野によって全く違う意味になります。
状況に応じて正しく理解することが大切です。
AI分野で「トークン」と言えば
→ 文章を処理する単位のこと
→ ChatGPTで「トークン数が上限を超えました」という表示
暗号資産分野で「トークン」と言えば
→ ブロックチェーン上のデジタル資産
→ NFTや各種仮想通貨
セキュリティ分野で「トークン」と言えば
→ ワンタイムパスワード生成ツール
→ 銀行のログインで使う認証機器
まとめ:トークンは「代替するもの」
「トークン」という言葉の本質は、何か別の価値を代替するものという共通点があります。
- AIのトークン:文章を数値に代替して処理する
- 暗号資産のトークン:資産や権利をデジタルデータに代替する
- 認証トークン:固定パスワードを使い捨てパスワードに代替する
どの分野でも、元の形を別の形に変換して扱いやすくする、という役割を果たしているのです。
これからもテクノロジーの発展とともに、「トークン」という言葉は様々な場面で使われていくでしょう。
それぞれの文脈で正しく理解できるようになれば、最新技術の話題にもついていきやすくなりますよ。
コメント