サービス概要
生成AIを組み込んだチャット、検索、業務支援、AIエージェントなどを対象に、モデルへの入力だけでなく、RAG、外部ツール、データストア、認証・認可、モデル出力を利用する後段処理まで検証します。
プロンプトへの応答が意図と異なるかだけではなく、その結果として機密情報へアクセスできるか、利用者の権限を越えて操作できるか、他のシステムへ影響を与えられるかを基準に評価します。確率的に挙動が変わる問題は、入力や条件を変えて反復し、成立条件と再現性を整理します。
対象例
- 社内外のAIチャット、問い合わせ対応、文書検索
- RAGを利用するナレッジ検索、要約、分析サービス
- コード実行、ブラウザ、メール、データベースなどを操作するAIエージェント
- MCPなどを利用して外部ツールやデータへ接続するシステム
- LLMの出力をWebページ、SQL、テンプレート、ワークフローへ渡す機能
- システムプロンプト、ガードレール、モデルゲートウェイ、推論API
主な検証観点
入力と指示の境界
直接・間接プロンプトインジェクション、システム指示の漏えい、ガードレール回避、会話やファイルを経由した命令の混入を確認します。信頼できる指示と外部データが適切に分離されているかを検証します。
RAGとデータアクセス
検索対象の認可、テナントや利用者間の分離、文書の汚染、埋め込みや検索条件の操作を確認します。モデルがアクセスできる情報と、利用者へ返してよい情報の差にも着目します。
ツール実行と自律性
ツールごとの権限、引数の検証、承認が必要な操作、実行回数やコストの上限を確認します。モデル出力を信頼して過剰な権限で処理を実行していないかを検証します。
出力と周辺アプリケーション
LLMの出力をHTML、Markdown、SQL、コード、外部APIなどへ渡す際の検証を確認します。XSS、インジェクション、情報漏えいなど、周辺のWeb／API機能に波及する問題も対象です。
攻撃・リスクの具体例
- 外部文書に埋め込まれた指示によって、エージェントが機密情報を送信する
- 別の利用者や組織だけが参照できるRAG文書を回答へ混入させる
- ツールの引数を操作し、許可されていないファイルやAPIへアクセスする
- モデル出力をそのまま表示・実行する処理からWeb脆弱性やコード実行につながる
- 反復的な処理や高コストのツール呼び出しにより、利用量や費用を制御できなくなる
進め方と成果物
システムのデータフロー、モデル、プロンプト、RAG、ツール、利用者ロール、重要な操作を整理し、ブラックボックスまたは設計・コードを含む方式を選択します。ツール実行を含む場合は、テスト用権限、承認を必要とする操作、禁止操作、緊急停止条件を事前に合意します。外部のAIサービスへ機密情報を送れない環境では、SUGIを用いたローカルでの解析・テスト支援もご相談いただけます。
報告書には、入力例だけでなく、成立に必要な条件、反復時の再現性、到達したデータや操作、システム全体の原因、緩和策を記載します。