J-MeetEval最新情報：日本語会議要約AIの評価方法を解説

日本語の会議要約AIを、実務に近い条件で評価できるベンチマーク「J-MeetEval」がオープンソースで公開されました。GitHubの評価コードやHugging Faceのデータセットを利用でき、議事録用途のモデル選定や開発前の検証をしたい企業・研究者・開発者に役立ちます。

J-MeetEvalはどこで使える？料金や公開状況は？

J-MeetEvalは、Nishika株式会社がGENIAC第3期の成果として開発した、日本語の会議要約タスク向け評価ベンチマークです。評価コードはGitHub、データセットはHugging Faceで公開されており、全モデルのスコアや指示の相互作用に関する分析資料も確認できます。公開資料では利用料金の記載はありません。配信日や開催期間、事前登録についても案内されていないため、ゲームや期間限定イベントのような参加期限は示されていません。

J-MeetEvalは何を評価する？

評価対象は、要約文の自然さだけではなく、指定された形式や制約を守れるかどうかです。3,000〜11,000字の会議文字起こしに対し、全角・半角の統一、発言順、JSON形式、文体など複数の指示を同時に与え、指示ごとの達成を0か1で判定します。データセットは合成会議トランスクリプト197件と、延べ408件の指示で構成。実際の会議内容は含まれません。

汎用ベンチマークの順位と議事録の実力は違う？

公開された7モデルの評価では、汎用ベンチマーク「Nejumi Leaderboard」の総合スコア順位と、J-MeetEvalの指示達成率順位が逆相関しました。順位相関係数はρ = −0.52で、汎用性能が高いモデルが必ずしも議事録の指示に強いとは限らない結果です。指示別では、「半角で統一」の達成率が98%だった一方、「全角で統一」は27%。範囲を限定して必要事項だけ抜き出す指示も、達成率は25%にとどまりました。

自社モデルの結果は？導入前に何を確認すべき？

Nishikaの会議要約向けモデルは、ベースモデルと比べ、指示達成率が55.4%から74.3%に、プロンプト単位の達成率が28.9%から55.3%に上昇しました。一方、カテゴリによって改善幅は異なり、表形式の達成率は100%から75.0%へ低下しています。したがって、この結果だけであらゆる業務への適合性を判断するのではなく、自社で必要な指示を含む条件で検証することが重要です。利用を検討する場合は、GitHubの評価コード、Hugging Faceのデータセット、スコアや分析資料を確認できます。

まとめ

・J-MeetEvalは日本語の会議要約AI向け評価ベンチマークで、GitHubとHugging Faceに公開されています。 ・長文の会議文字起こしに複数の制約を与え、指示どおりに出力できるかを評価します。 ・汎用ベンチマークの順位と議事録タスクの達成率は一致しない結果が示されました。 ・料金や利用条件の詳細は公開資料で確認し、導入前には自社の要件に沿った検証を行いましょう。

編集者コメント

このベンチマークの価値は、文章の読みやすさだけでは見つけにくい「指定どおりの形式で出せるか」を比較しやすくした点にあります。モデル選定では総合スコアだけで決めず、発言順や表記統一など、実際の議事録で外せない条件の結果も確認したいところです。