LLMの日本語能力は？ リーダーボード「Nejumi.ai」の開発・運営から見えてきた課題

　ChatGPTをはじめ、オープンに利用できる大規模言語モデル（LLM）が続々と公開される中、これらの日本語能力はどれほどのものなのだろうか。本セッションでは、さまざまなLLMモデルを一律で比較するための日本最大級のリーダーボード「Nejumi.ai」の開発と運営を行っている、Weights & Biases Japan機械学習エンジニアの山本 祐也氏が登壇。最新のLLMモデルの日本語能力の評価方法、評価を深掘りして分析することで得られたさまざまな知見、オリジナルのリーダーボードの作成方法などについて解説した。