問い合わせ対応を支える生成AI連携基盤を構築

「何でも答える」を目標にしない

少数の整った文書では、自然なデモを作れます。本番では版違い、例外、権限、表、欠落が混在します。最初に、回答の文章の自然さと業務上の信頼を切り分けます。

デモの文章の自然さは、本番品質を保証しない

少数の整った文書と想定質問なら、多くのシステムが自然な回答を作れます。本番では、表、画像、版違い、例外規定、アクセス制限、質問の省略、複数意図、最新情報の欠落が混在します。回答が自然であるほど、利用者は誤りに気づきにくくなる点も重要です。

RAGの原著は、モデル内部のモデル内部に学習された知識に加えて外部の外部文書として参照する知識を参照する考え方を示しました。しかし外部知識があることと、正しい文書を取得し、正しく解釈し、権限内で答えることは別問題です。

三つの約束を先に決める

利用者へ約束するのは、正答率という抽象値だけではありません。第一に、回答の根拠と版を示すこと。第二に、根拠が不足する時は推測せず保留すること。第三に、重大な判断や個別例外は人へ引き継ぐことです。

この約束が、文書要件、検索評価、プロンプト、画面、ログ、SLA（サービス水準合意）を決めます。モデルや検索製品を先に選ぶと、何をもって安全で有用とするかが後付けになります。

RAG（社内文書を検索して回答に使う仕組み）を業務全体で考える

文書登録、解析、分割、文書の属性情報、索引、検索、検索結果の並べ替え、生成、引用、更新を一つの連鎖として扱います。入口で壊れた知識は生成段階では修復できません。

入口で壊れた知識は、生成段階で直せない

文書が古い、正式版が不明、表と見出しの関係が失われる、版や有効期間がない、権限情報が落ちる。この状態で高度なモデルを使っても、正しい根拠は得られません。取り込み時に文書所有者、承認状態、有効期間、対象者、機密区分、原本URL、更新時刻を付与します。

PDFやスライドは、ページ単位に機械的に分割すると表題・脚注・表本体が離れる場合があります。固定文字数だけでなく、見出し構造、表、FAQ項目、意味単位に応じて分割し、前後関係を復元できる識別子を残します。

検索と生成を別々の部品として扱う

答えの根拠が検索結果に含まれていなければ、プロンプト改善だけで正答は作れません。逆に適切な根拠が取得できているのに回答が誤るなら、前後関係構成、指示、モデル、出力後検証に問題があります。失敗を検索と生成へ分解しなければ、改善が当てずっぽうになります。

キーワード、ベクトル、ハイブリッド、文書の属性情報フィルタ、クエリ分解、検索結果の並べ替えにはそれぞれ得意領域があります。固有語、番号、短い規定は字面検索が強く、言い換えは意味検索が有利です。代表質問で方式を比較し、単一検索へ思想的に固定しません。

• 文書の正式版・所有者・有効期間を登録する
• 構造を壊さない分割と原本への追跡性を持たせる
• 検索候補、検索結果の並べ替え、最終前後関係を別々に記録する
• 削除・権限変更を索引とキャッシュまで反映する

回答範囲と担当者へ引き継ぐ条件を決める

質問の難しさではなく、誤答時の影響、元に戻せるか、個別判断、根拠要件でAIの役割を決めます。無回答率の低下を目的化せず、正しい保留を設計します。

誤答影響と元に戻せるかで自動化範囲を決める

低影響で、根拠が明確で、訂正しやすい質問は直接回答へ向きます。複数文書の解釈や個別条件が絡む場合は、担当者向け下書きとして表示し、根拠確認を必須にします。重大な権利・金銭・安全判断では、AIは必要情報の整理と担当部署へのルーティングに限定します。

「回答しない」ことを失敗にしない設計が重要です。根拠不足、競合文書、権限不足、鮮度不明、個別判断が必要な場合に、理由を明示して保留し、質問者へ次の行動を案内します。無回答率を下げる目標だけを置くと、危険な推測を促します。

行動権限は回答権限より厳しくする

予約変更、返金、アカウント更新、通知送信などの操作を伴う場合、誤回答は実害へ直結します。OWASP（Webシステムの安全対策を公開する国際団体）は、AIに過剰な権限を与える危険を指摘しています。機能と権限を必要最小限にし、読み取り、提案、確認付き実行、自動実行を分けます。

操作対象、引数、最大件数、時間帯、承認者を許可リスト化し、モデルの文章から任意コマンドを直接実行しません。実行前に構造化された確認画面を出し、結果と取消し方法を記録します。

具体例：二つの正しい規程が見つかった場合

仮想シナリオとして、問い合わせに対し、旧版と新版、または全社規程と限定的な例外手順が同時に検索された場面を考えます。どちらも文書としては正しいため、類似度だけでは一つを選べません。

生成前に、適用条件の衝突を検出する

文書の有効期間、対象部門、対象者、承認状態、優先順位を文書の属性情報として持たせます。検索結果に競合がある場合、モデルへ一方だけを渡すのではなく、適用条件が確定できるかを判定します。

利用者の所属や質問時点で一意に決まるなら、その根拠を示して回答します。情報が不足するなら、必要な追加質問を一つずつ行います。それでも決まらなければ、二つの規程を並べて推測せず、担当者へ引き継ぎます。

回答の失敗を、知識管理の変更へ戻す

競合が頻発する場合、プロンプトを複雑にする前に、正式版、後継関係、例外の承認者を見直します。回答ログには、どの文書が競合し、何が足りず、誰が最終判断したかを残します。

この結果を文書所有者へ返し、旧版廃止、適用範囲の明記、FAQ追加、検索フィルタの修正を行います。生成AIは曖昧な知識を隠すのではなく、組織が解くべき曖昧さを可視化する役割を担います。

検索できる文書と、見せてよい文書を一致させる

原本の権限を分割文書、索引、検索へ反映し、検索後のマスキングだけに頼りません。版、有効期間、削除も回答の構成要素として扱います。

文書レベルと分割文書単位の権限を反映する

原本のグループ、役割、地域、部門、機密区分を文書の属性情報へ取り込み、利用者の認証情報に基づいて検索候補を絞ります。検索後に回答文だけをマスクする方式では、モデルの前後関係へ機密情報が渡るため不十分です。

権限変更、異動、文書廃止が起きた時、原本、索引、埋め込み、キャッシュ、会話履歴へいつ反映されるかをSLA化します。削除イベントの失敗を監視し、索引上の参照元を失った分割文書を定期検査します。

時間と版を、回答の一部にする

規程や手順は更新されます。最新版だけを残すと、過去時点の問い合わせを説明できず、旧版を混在させると現在の回答に誤って使われます。有効開始・終了、適用範囲、後継文書を持たせ、質問時点と用途に応じて検索します。

回答には文書名、該当箇所、版、参照時刻を表示し、原本へ移動できるようにします。引用は飾りではなく、担当者が検証し、利用者が責任ある判断をするためのUIです。

検索・文章生成・保留・解決を分けて評価する

一つの総合点では改善箇所が分かりません。代表質問、危険な境界、回答不存在、権限外、攻撃を含む評価セットで、各段階を独立診断します。

テストセットは実際の質問分布と危険な境界を含める

頻出質問だけでなく、略語、誤字、曖昧な質問、複数意図、回答が存在しない質問、権限外質問、競合文書、期限切れ文書、悪意ある指示を含めます。期待する根拠分割文書、許容回答、必ず保留すべき条件を専門家と定義します。

本番質問をテストへ追加する際は、個人情報や機密を除去し、重複と偏りを管理します。文書更新や検索設定変更のたびに回帰評価し、モデル版だけでなく索引版、プロンプト版、評価セット版を保存します。

段階別指標を、診断へ使う

検索では、期待根拠が上位候補に入るか、不要文書がどれだけ混ざるかを見ます。生成では、回答が根拠に基づくか、質問の各要素を満たすか、引用が主張を支えるか、保留条件を守るかを確認します。Microsoftの評価ガイドは、五つの観点を分けています。根拠に基づくか、必要事項を満たすか、検索結果を活用しているか、質問に合うか、内容が正しいかです。

RAGASなど自動評価は回帰検知に有用ですが、評価モデル自体の誤りと非決定性があります。高影響用途では人の専門評価を基準にし、自動指標との一致度を定期確認します。同じ入力でも出力が変わり得るため、一つの点数ではなく分布と重大失敗件数を見ます。

• Retrieval：正しい根拠を取得できたか
• Generation：根拠に忠実で、完全か
• 回答保留：答えるべきでない時に止まれたか
• 担当者への引継ぎ：人へ必要な文脈を渡せたか
• 業務上の結果：再問い合わせを減らし、解決へ届いたか

不正な入力があっても影響を小さく抑える

文書にも利用者入力にも攻撃命令が含まれ得ます。フィルタだけに期待せず、命令とデータを分け、ツール権限、ネットワーク、操作範囲を削減します。

データと命令を分離し、権限で被害を限定する

検索コンテンツは参考データであり、システム命令ではないと明確に扱います。信頼度の低い外部文書を分離し、取り込み時に危険なパターンを検査し、出力時に機密・個人情報・許可されない指示を確認します。ただしフィルタだけで完全防御とはしません。

最も重要なのは、攻撃が成功しても大きな行動を取れないようにすることです。ツール権限を削減し、ネットワーク、データ、操作範囲を分離し、重大操作に人の確認を入れます。OWASPのLLM（大規模言語モデル）向け十大リスクと、NISTの生成AI向け指針を参照します。誤情報、情報の完全性、プライバシー、外部部品のリスクを確認します。

ログは改善資産であると同時に、機密データである

会話ログには、質問者が入力した個人情報、機密、モデルが誤って出した情報が含まれます。全件を無期限に保存せず、目的別に保持期間、アクセス、マスキング、分析用抽出を定めます。品質改善へ使う場合も、利用目的と権限を明示します。

監視では、機密語の出力、権限外検索、異常な反復照会、プロンプトパターン、ツール呼出し、保留回避の試行を検知します。インシデント時に、該当索引、文書、会話、モデル、設定を特定し、文書無効化や機能停止を迅速に行えるようにします。

ログの標本監査では、正答だけでなく「危険な偶然の正答」も探します。根拠外の知識でたまたま正しい回答をした場合、正答率では問題が見えません。主張と引用の対応、利用していない前後関係、権限フィルタの結果を確認し、再現可能な正しさかを判断します。

自動回答率ではなく、問題解決と文書改善を見る

問い合わせ対応の総コストは、回答、確認、往復、引継ぎ、教育、文書更新から成ります。生成件数ではなく、解決までの摩擦と知識欠陥の減少を測ります。

自動化率を上げるほど良い、とは限らない

簡単な定型質問は自動回答に向きますが、契約、権利、金銭、健康、安全、個別例外など誤答影響が大きい質問は、人の確認が必要です。自動化率だけをKPI（重要業績評価指標）にすると、システムが無理に回答し、後続の訂正や苦情を増やす可能性があります。

質問を、誤答影響、元に戻せるか、個別判断の有無、必要な鮮度、根拠の明確さで分類します。低影響は自動回答、中影響は担当者向け下書き、高影響は情報収集と引継ぎに限定するなど、回答方式を変えます。

知識の品質を、問い合わせから逆向きに改善する

生成AIが答えられない理由は、モデル性能だけではありません。必要な情報が文書にない、複数の正式版が競合する、更新責任者が不明、アクセス権が不整合、検索単位が不適切といった知識運用の問題が顕在化します。

未解決質問、保留理由、検索ゼロ、専門部門への引継ぎを分類し、文書作成、統合、廃止、文書の属性情報修正の改善課題一覧へ戻します。問い合わせ対応基盤は回答装置であると同時に、組織の知識欠陥を測るセンサーになります。

読み取り専用から段階的に利用範囲を広げる

担当者向けの検索・下書き支援で採否と修正を学び、低影響の直接回答へ進みます。操作権限は、取消し・監査・誤判定の訂正が機能してから限定的に追加します。

準備、本番外での評価、並行テスト、限定本番

準備段階で業務例分類、正式版文書、所有者、権限、代表質問、重大失敗を定義します。次に複数の分割・検索・検索結果の並べ替え方式をオフラインで比較し、検索と生成を別々に評価します。基準となる単純検索や既存FAQも残します。

業務判断には使わない並行テストでは担当者の裏側で提案を生成し、採否、修正、根拠確認、解決結果を記録します。限定本番では低影響カテゴリに絞り、回答、保留、引継ぎを提供します。各段階の判断条件は、文章の自然さではなく、重大誤答、権限逸脱、保留品質、復旧、利用者行動で決めます。

運用チームを、知識・AI・業務の三者で作る

知識所有者は正式版と更新、業務責任者は回答方針と引継ぎ、AI・IT責任者は検索・生成・監視・変更を担います。問い合わせ担当者は単なる利用者ではなく、採否と修正理由を返す品質センサーです。

週次または月次の品質会議では、重大失敗、検索ゼロ、保留、未解決、権限エラーを確認し、文書修正、検索設定、プロンプト、UI、業務ルールのどこを直すか決めます。すべてをモデル変更で解決しようとしないことが、運用速度を上げます。

変更の速さと統制を両立するため、文言だけの小変更、索引・分割の変更、モデル・ツール権限の変更をリスク別に分けます。低リスク変更は自動回帰評価を通して迅速に反映し、高リスク変更は専門家レビューと段階配信を必須にします。承認を一律に重くすると、古い知識が長く残る別のリスクが生まれます。

生成AIを使わない方がよい質問を決める

正式版がない、所有者がいない、権限を反映できない、重大誤答を誤判定の訂正できない場合は、モデルを高度化せず知識管理へ戻ります。定型領域ではFAQの方が合理的なこともあります。

採用を止める、または範囲を狭める条件

正式版を確定できない、文書所有者がいない、権限を索引へ反映できない、重大誤答を検知・誤判定の訂正できない、評価セットを作れない、利用者が根拠を確認しない。この状態ではモデルを高度化するより、知識管理と業務責任を先に整えます。

自動回答が担当者の確認時間を減らさず、再問い合わせや訂正を増やす場合も、下書き支援や検索支援へ戻します。新しいエージェント機能は、固定RAGで解けない具体的な複数段階課題があり、追加権限と遅延を上回る価値を検証できる時に限定します。

結論――価値は、正しく止まり、学び続けることにある

問い合わせ対応基盤は、答える能力だけでなく、根拠不足を認識し、保留し、人へ渡し、知識の欠陥を修正する能力で信頼を得ます。検索、生成、業務成果を分けて測り、文書・権限・モデル・運用を同じ変更管理へ載せることが不可欠です。

DXwheelが支援する場合も、特定モデルの導入から始めず、対象質問、誤答影響、知識の正式版、権限、評価、引継ぎを設計します。