2024年12月24日 09:00

メタデータ、LLM APIの障害時に他LLMに切り替わるRAGシステムChatBridBCPを開発

  • このエントリーをはてなブックマークに追加
メタデータ株式会社(所在地:東京都文京区;代表取締役社長:野村直之)は、AIサービスの安定稼働を実現するため、RAGシステム「ChatBrid」の進化版となる「ChatBridBCP」を開発しました。本システムは、OpenAI社をはじめとするLLM APIやオンプレミスLLMが停止した際に、別のLLMに自動的に切り替えてサービスを継続する技術を搭載しています。
 日本時間2024年12月12日に発生したOpenAI社APIの大規模障害は、多くの企業にBCP(事業継続計画)の必要性を改めて認識させました。「ChatBridBCP」は、この課題に対する有効な解決策を提供します。ChaBridBCPの概要について、2025/1/9-11に東京ビッグサイトで開催される「TOKYO DIGICONX」AIカテゴリーNo.61(小間A-07)のメタデータ社ブースにて披露いたします。

■ ChatBridBCPの特徴
高度なRAG技術
ChatBridBCPのベースとなったChatBridは、独自の自然言語処理技術を活用し、数百本以上のマニュアルを統合・最適化することで、90%を超える回答精度を実現しています。これにより、専門知識や内部情報を活用した効率的なサポートが可能です。

柔軟な切り替え機能
本システムは、クラウド版LLMからオンプレミス版LLM、さらには他のクラウド版LLMへの切り替えを柔軟に行えます。これにより、停電やネットワーク障害といったインシデント時でも、AIサービスを中断することなく継続可能です。

■ 実際の利用シーンと導入効果
安全性と信頼性の向上
オンプレミス環境での運用をサポートし、部外秘情報や個人情報を保護しながら高精度な回答を提供します。また、インターネット接続が制限された環境でも、シームレスな切り替えにより業務を支援します。

BCPへの貢献
本システムChatBridBCPを導入することで、AIサービスの中断リスクを最小限に抑え、企業の信頼性向上に寄与します。
※ 日本時間の12/12未明に生じたOpenAI社サービスの全面ダウンは、Chat APIを組み込んで社内知識サポートや、顧客サポートAIを構築したサービスの全面ダウンを招きました。ChatBridを提供する当社も、ローカル(オンプレミス)で高精度に動作するLLMを採用した顧客ばかりではなかったため、原因究明と対策、謝罪に追われました。究極の対策として急遽開発したのが、ChaBridBCPです。

ChatBridBCPは、OpenAI社他のLLM APIや、オンプレミス版LLMの動作中断時に、自動的に別のLLMに切り替えてAIサービスを継続することができます。インターネット経由で使うクラウド版LLMからオンプレミス版LLMへの切り替えも、その逆にオンプレミス版LLMからクラウド版LLMへの切り替えも出来るし、クラウド版LLMから別のクラウド版LLMの切り替え、オンプレミス版LLMから別のオンプレミス版LLMへの切り替えも可能。後者では、停電等のインシデント対策で自社領域ながら別拠点のネットワークを敷設していれば、そこのLLMに切り替えるというBCP施策によりAIサービスの中断を防ぐことができます。

■ システム構成
下図に、上述の自動切換えイメージを示します。左側が定常時に稼働中のLLMを表します。定常時にオンプレミス版LLMが稼働中に、設定したタイムアウト時間、例えば2分間を越えてLLMからレスポンスが返ってこなくなった際に、自動的に、右側のクラウド版、ないし、別のオンプレミス版LLMに切り替わることを示しています。また、下段のように、定常時にクラウド版LLMが稼働中に、設定したタイムアウト時間、例えば2分間を越えてLLMからレスポンスが返ってこなくなった際に、自動的に、右側の別のクラウド版、ないし、オンプレミス版LLMに切り替わることを示します。12/12のOpenAI社のサービス全面ダウンの際に必要とされたのは後者のパターンです。

ChatBridBCPがあれば、別のクラウド版サービス、例えば、Google社やAnthropic社、あるいはAzureなどのLLMに自動的に切り替わったり、オンプレミス版LLMに切り替わることで、ビジネス継続性を維持することができました。

■ChatBridBCPのご相談会 「TOKYO DIGICONX」2025/1/9~11
ChatBridBCPについては、2025/1/9から1/11に東京ビッグサイトで開催される「TOKYO DIGICONX」AIカテゴリーNo.61(小間A-07)のご来場者に詳細にご説明いたします。ご相談いただけば、様々な想定インシデントや、社内ネットワーク、クラウドの利用状況や利用についての社内規定、セキュリティガイドラインに沿って、どのようなスタンバイ、切り替え体制が望ましいかアドバイスいたします。

・概要ならびにご登録:https://xr-meta-biz.tokyo/
・日時:2025年1月9日(木) ~11日(土)10:00~18:00
・会場:東京ビッグサイト 南展示棟 3・4ホール
・ブースご説明(詳細):https://xr-meta-biz.tokyo/exhibitor/1838/

※記載内容(リンク先を含む)のサービスや表現の適法性について、ドリームニュースでは関知しておらず確認しておりません。

  • IT、通信、コンピュータ技術

会社概要

商号
メタデータ株式会社(メタデータカブシキガイシャ)
代表者
野村 直之(ノムラ ナオユキ)
所在地
〒113-0033
東京都文京区本郷三丁目38−10 さかえビル2F
TEL
048-878-8491
業種
ソフトウエア
上場先
未上場
従業員数
50名未満
会社HP
https://metadata.co.jp/
IR情報
https://metadata.co.jp/corporation/profile.html
公式ブログ
https://www.facebook.com/realtime.crm
  • 公式twitter
  • 公式facebook

運営会社 プライバシーポリシー情報削除ガイドラインサイトのご利用についてサイトマップお問い合わせ

© 2007-2024 GlobalIndex Co.,Ltd. All Rights Reserved.