■ ChatBridORについて
RAGエンジンChatBridは、多ジャンルの数百本以上のマニュアル類を取り込んで自動的にジャンル間をスイッチングする等の独自技術により、大規模な専門知識、ローカル情報について、90%超の回答精度を出しています。専門知識の類を自前のベクトルストレージ格納し、ビジュアル類似検索による効率の良い知識デバッグ等がオンプレミスを含むサーバ環境内で完結していたところへ、検索された専門知識をもとに回答を生成するAIについても、700憶パラメータ級の高精度版をオンプレミス動作させ、協調動作させられるようになりました。このChatBridORにより、外部ネットから遮断した環境で、部外秘の専門知識や個人情報を含む内部データを、マニュアルや報告書自体よりずっと分かり易く、簡潔に24時間365日、回答、説明できるようになります。情報漏洩の可能性を根絶したことで、機微情報、個人情報などが無数に混在した現場記録やマニュアル類をそのままRAGで扱うことができます。
■ 心身障害児総合医療療育センターにおけるシステム構成と利用用途
このほどPoC（Proof of Concept; 実証評価）を開始した心身障害児総合医療療育センターは、国立民営の総合的な医療療育機関です。約500名の職員が日夜、障害のある子どもたち・成長後の大人の方々と家族の医療・福祉・活動・社会参加の増進に貢献すべく、日夜、質の高い医療サービスの提供に努めています。
本PoCでは、現場の業務手順書類や、いわゆるヒヤリハット事例集を、 完全オンプレミスRAGのChatBridORに取り込み、実用性を評価しています。
ソフトウェアは、オンプレミスのChatBridOR ならびに、Llama3.1-swallow-70Bを量子化したLLMならびに、8Bのモデルを使っています。これらは、RTX6000ada（48GB）を搭載した高性能ワークステーションHP Z6 G5 （96コア192スレッド, 256GB DDR5メモリ,高速SSD） 上に実装し、外部ネットを遮断した院内ローカルネット上の端末から、Webブラウザ経由でアクセスできるようにしています。知識登録担当者が、データの粒度やプロンプトを調整しつつ、 8B vs 70Bで精度比較や、回答の特性を評価しています。RAGのストレージにとりこまれた知識の良否、有無をビジュアルに評価し、改善をはかるあらゆる過程を、ノーコードで快適にチューニングできるようになっています。
小崎所長は、「個別性の高い障害児・者の支援の現場で効率よく過去の事例を検索して業務改善に役立てることが期待される」として、過去のベストプラクティスが秒単位で快適に回答されるAIへの期待を寄せています。また、「今後は、ヒヤリハットの内容がマニュアルのどの部分と関連するのか、といったことが指摘されて、マニュアルの改訂にも結びつくような流れがあると良いと感じています。」と、今後の期待を寄せてくれています。データ、情報を、関連知識に基づいて解釈したり、逆に、不足していた知識記述を拡充たりという、ナレッジマネジメントの理想的なサイクルを目指すことになります。これには、対話のみならず、医療機関の現場業務に特化した調査や思考プロセスをAIに持たせるよう、ChatBridORの運用、チューニングを行うことが求められます。
■ BCN Conference 2024冬 12/12基調講演：『セキュアな生成AI活用の本命、ローカルLLM利用のRAGによるナレッジマネジメント』
★心身障害児総合医療療育センターでのPoC開始状況は、BCN Conference 2024冬の中日12/12基調講演：『セキュアな生成AI活用の本命、ローカルLLM利用のRAGによるナレッジマネジメント』にて簡単に紹介いたします。
https://japan.cnet.com/release/31057962/
ここではChatBridORの精度向上のための仕組みや、オンプレミスLLMのメリット、必要なハードウェア要件などについても説明いたします。多数の聴講お申込みをお待ちしています：https://bit.ly/3V3ABYr
