OpenAIのChatGPTやGoogleのBardなど、近年ではさまざまなAIが人間レベルに近い会話を行うことができるようになりました。AIは基本的に文章の処理に「トークン」と呼ばれる単位で認識を行います。普通の文章がトークン的にはどのように分解されるのかを一目で判断できるツールが「トークナイザー」で、Metaの大規模言語モデルである「LLaMA」専用のツール「LLaMA-Tokenizer」が公開されています。
Metaの大規模言語モデル「LLaMa」に入力した文章がどのようなトークンとして認識しているかを確認できる「LLaMA-Tokenizer」
