高精度RAG製品ChatBridのWebアプリ版を大幅機能拡充　～中小組織向けにターンキー・ソリューションを提供

メタデータ株式会社（所在地：東京都文京区；代表取締役社長：野村直之）は、大規模な社内知識や多種のローカル情報を高精度に回答するRAGエンジン“ChatBrid”のWebアプリ版を機能拡充し、特に、グループウェア等を介さずに直接利用した際の性能、使い勝手を大幅に向上させました。大規模な自社情報システムを持たない中小組織に特に好適で、OpenAI社の外部LLMとも、ローカルLLMとも接続可能です。知識アクセス権制御機能、厳密一致遵守機能などのセキュアな利用環境とともに、2024年10月に提供開始いたします。

■ 背景 ～ChatBrid、ChatBridOR
2023年4月18日に初版をリリースしたChatBridは、当初から、Slack, Teams, Lineなどをエンドユーザが操作するアプリとし、自らの高精度大規模なRAGエンジンを提供するAPIモードとしてバックエンドに設置するのを基本としていました。ChatBridのWebアプリは、知識コンテンツの登録が非常に快適に出来て、ビジュアル類似検索画面により想定質問に該当する知識が登録済かを即確認出来、未登録の頻出語をみつけてプロンプト素材の用語説明に追加しやすいなど、知識開発者向けの機能を充実させたものとなっています。ChatBridのWebアプリは、LINEなみにシンプルな対話画面を提供し、LLM経由の実際の対話機能も提供していましたが、あくまで本番と同一条件での動作確認用という位置づけでした。

■ ChatBridの新対話GUIと、他の新機能
このChatBridのWebアプリの対話画面を使ったユーザから、このままエンドユーザに使ってもらいたいとの要望をいただくようになりました。そこでこのたび、ChatGPT Webアプリなみ以上操作性、機能を実現すべく過去履歴の、それらタイトルの自動要約、編集・削除機能、さらには、ユーザの「次の質問」を予想して３，４つを生成し、ボタンにしています。

さらに、知識不足に気づいたユーザが知識追加を管理者に要望する機能も別途備えています。

新版では、知識コンテンツについてセキュアな運用のために、水平、垂直の知識アクセス権管理が管理画面のGUIで行えるようになっています。　

この知識アクセス権管理機能では、組織における垂直（役員、部課長～一般社員）、水平（企画、営業、開発etc.間の部外秘管理）方向で閲覧可能な知識を、知識ジャンル（データセット）単位、マニュアル単位、さらには最小の知識レコード単位で立てたフラグに従って、識別し、その中からだけ当該質問者がアクセスして良いものだけをLLMに送る素材とすることができます。これにより、職級が下位の質問者が上位階級のスタッフ向けの知識の混ざった回答を得ることが不可能となります。また、水平方向では、例えば研究所の一般社員が知りえる次世代商品の知識に基づいた回答を、営業部長が許可なく得ることは出来なくなります。

厳密一致遵守機能：RAGの通常の類似検索では少しの文字の違いを同一視しがちです。LLMも似て非なる名称や型番（以下、致命的キーワードと呼ぶ）について、しばしば取り違えを起こします。これは時に、その回答を信じた人にとって致命的なエラーとなりえます。そこで、素材名、薬剤名、重要な分量数字などについては、それらのキーが厳密に一致する知識のみヒットさせる機能を備えました。

その他、次のような新機能を今般、リリースいたします：
・類似検索のマクロ実行による、一括ナレッジ評価、特に欠落知識の網羅的発見
・ナレッジ管理者へのメール通知・問い合わせ機能
・PDF、HTML等のマークダウン化、オンザフライ知識構造編集機能
・ユーザ辞書登録機能：複数文字種からなる術語などをユーザが辞書登録することで（例：「Z農」）、専門知識、ローカル情報について、当社独自の日本語トークナイザーの精度を向上させることができる

■ 新GUIとともに既存の知識確認機能がアクセス容易に
ChatBridの既存の独自機能群は、Webアプリ経由で利用することで、大きな効果を発揮します。
・特許技術のデータセットプロンプトをユーザ自身が設定（管理者モード）することで、「（応答が）速い」「（LLM API課金が）安い」「旨い（高精度）」を実現
・ベクトル検索結果のビジュアル化（xAI） : ～知識デバッグのための視覚フィードバック　回答の適不適・知識不足を秒速で目視、評価可能

独自のベクトルストレージにより、質問文と類似、関連している度合いの根拠を、単語や意味の重なり具合を色付けして示すビジュアル類似検索を搭載し、LLMからの回答の根拠の有無、正しさの度合いを素早く目視評価したりすることができます。これらによって、知識デバッグ能力を高め、確実に高精度化できます。知識を専門分野毎にデータセットに分割、管理することにより、大規模なマルチ専門家AIを構築しつつ各専門分野に適した質問文解釈、回答文・表現の生成を可能としています。データセットごとにビジュアル類似検索を行うことも、全データセットを横断したビジュアル類似検索を行うこともできます。

この他、次にあげる知識編集機能のメリットをユーザ自身で享受することが可能になります。
・LLMの理解力・精度を向上させやすいマークダウン形式の定義と「マークダウン&マニュアル類の改善」ガイドライン100数10ページ

・知識レコードの粒度調整機能：自動レコード分割 ～マークダウンの見出し階層指定に基づきチャンキング
・階層コンテクストの自動付加機能：小見出しだけでなく上位階層の中見出し、大見出しを複製して付加。細粒度のナレッジ群に対するLLMの理解力を向上
・5階層シソーラス展開をONにすることで質問文との関連性把握力、再現率の向上
・プロンプト・リバースエンジニアリングによる、データセット・プロンプトの改善

以上、今回バージョンの新機能、利点を列挙しました。今後も、組織外への情報漏洩防止はもちろん、部外秘、階級外秘を自然に守れるなどのセキュリティの確保を徹底してまいります。その際に、使い勝手のさらなる向上と両立させてまいります。組織内外、社内向けと顧客向けとで同じ知識ベース（データセット群）を用い、一元管理しつつ双方を楽に最新状態にメンテナンスしやすくします。
また、引退の近いシニア世代からの知識引き出し、知識継承等を中心にさらに機能、ノウハウの拡充をはかってまいります。

付録：
・ワードクラウドによる意味空間の一瞥把握機能：データセットや各種絞込み条件下の単語分布を目視 →どんな知識ボリュームであるかを一目で把握。
→影プロンプトで説明すべき内容（特殊な意味を込めた術語等）を素早く発見。
→ワードクラウドにより単語ランキング上位を眺めることで、プロンプトで解説する必要のあるローカル専門用語の候補を見つけたりすることができます。