ITちゃんねる

仕事に役立つIT関連の最新ニュース

OpenAIが言語モデルの事実性を測定するベンチマーク「SimpleQA」をオープンソースでリリース

OpenAIが言語モデルの事実性を測定するベンチマーク「SimpleQA」をオープンソースでリリース

OpenAIが言語モデルの事実性(factuality)を測定するためのベンチマーク「SimpleQA」を発表しました。SimpleQAは科学技術からエンターテインメントまでの幅広いトピックを含んだ検証済みの4000種類以上の質問から構成されています。