トークン化

Googleの生成AI機能が単語のスペルを正確に認識できない根本的な理由を、トークンベースの仕組みから専門的に解説します。