日本語でのIT分野のLLM能力の違いは？ITパスポート試験活用のベンチマーク

GMOインターネットグループのGMOメディアのコエテコAI教育研究所は3月11日、ITパスポート試験とJGLUE(日本語一般言語理解評価)を用いてIT分野における日本語のLLM(大規模言語モデル)の推理能力・問題解決能力を評価するベンチマークを実施し、その評価結果の発表を行った。