【AIクイズ】ChatGPT使ってるのに「トークン」知らないの？

【問題】

ChatGPTやClaudeを使っていると「トークン数の上限」という表示を見たことはありませんか？実はこの「トークン」を理解しているかどうかで、AIの使いこなし度が大きく変わります。

★ ヒント

AIがテキストを処理するとき、文章をそのまま丸ごと理解しているわけではありません。ある「単位」に分割してから処理しています。

【解説】

トークンとは、AIが文章を処理する際にテキストを分割した最小単位のことです。英語では「dog」が1トークン、「running」が「run」+「ning」の2トークンに分割されるようなイメージです。日本語は英語に比べて1文字あたりのトークン消費量が多い傾向があり、同じ意味の文章でもトークン数が膨らみやすいのが特徴です。ChatGPTなどのサービスでは、入力と出力の合計トークン数に上限が設けられており、料金もこのトークン数に基づいて計算されます。つまり、トークンを意識することで「なぜ長い文章を入れると途中で切れるのか」「なぜ料金が変わるのか」が理解できるようになります。プロンプトを短く的確にまとめるスキルは、実はトークン効率を上げるテクニックでもあるのです。

トークンを制する者がAIコストを制します。次回もAIリテラシーがグッと上がるクイズをお届けしますのでお楽しみに！