自動解決率だけでは足りない：AIサポートの重要指標

「自動解決率だけでは足りない：AIサポートの重要指標」を検討するときは、「AIを導入するか」よりも、どの問い合わせをどの根拠で回答し、どの条件で人へ引き継ぐかを先に決めます。自動化率だけを目標にすると難しい案件がAIに残りやすい一方、範囲と引き継ぎ基準を目標にすれば責任の所在が明確になります。

Deyoで関連する要素は、承認済みナレッジ、Webウィジェット、有人引き継ぎ、運用レビューです。会話量・引き継ぎ・品質シグナル・ナレッジ準備指標を観測可能なルールとして記録すれば、公開後の実会話にも同じ判断基準を適用できます。

この基準を実運用に適用すると、次のようになります。会話量は需要、引き継ぎは業務境界、品質シグナルは確認候補、ナレッジ準備は原因を示します。一指標を成功率とせず推移を合わせて読みます。

会話量・引き継ぎ・品質シグナル・ナレッジ準備指標は、Deyo Insightsで該当会話と確認シグナルを開き、実回答・ソースと照合します。修正時はKnowledgeを更新し、同じ質問をPlaygroundで再実行して確認日を残します。

この基準を実運用に適用すると、次のようになります。顧客の明示依頼、アカウント調査、実変更、根拠不足を別の引き継ぎ理由で記録します。ナレッジ不足と人員作業を区別できます。

テスト会話で顧客要望・実作業・根拠不足による引き継ぎ基準条件を意図的に発生させます。Deyo Inboxで履歴、理由、担当状態を確認し、通知先のSlack・メールではなくInboxから顧客へ返信します。

この基準を実運用に適用すると、次のようになります。低評価は誤答の確定ではなく確認シグナルです。会話、検索根拠、当時有効なポリシーを見て修正要否を決めます。

低評価の分類と修正後の再検証は、Deyo Insightsで該当会話と確認シグナルを開き、実回答・ソースと照合します。修正時はKnowledgeを更新し、同じ質問をPlaygroundで再実行して確認日を残します。

この基準を実運用に適用すると、次のようになります。表現が違っても同じ意図なら一つのナレッジギャップにまとめます。頻度と影響で優先順位を付け、ヘルプ、Q&A、引き継ぎ案内から最小の解決策を選びます。

繰り返す未回答を新しいヘルプに変える方法は、Deyo Insightsで該当会話と確認シグナルを開き、実回答・ソースと照合します。修正時はKnowledgeを更新し、同じ質問をPlaygroundで再実行して確認日を残します。

「自動解決率だけでは足りない：AIサポートの重要指標」の検証シナリオはアカウント固有の変更を依頼する顧客です。運用者は関連ヘルプをKnowledgeに登録し、Playgroundで通常表現と短い言い換えを試します。最新ソースが回答と表示されたらWebウィジェットでも同じ質問を送ります。

次に実作業が必要な表現へ変えて有人引き継ぎを発生させます。Inboxに全履歴、理由、担当状態、返信操作が表示された場合のみ、このシナリオを合格とします。

「自動解決率だけでは足りない：AIサポートの重要指標」の提案は、現行Deyoの製品根拠で確認できる範囲に限定しています。このテーマで確認済みの作業は、会話・引き継ぎ・品質・ナレッジ準備指標を確認、フィードバックと確認シグナルから改善候補を特定です。これらは運用者がナレッジを準備し会話を確認する手段であり、全問い合わせの自動解決を約束するものではありません。

基本手順は、ナレッジ登録、Playgroundでの検証、ウィジェット設置、実会話の確認です。まず一つの問い合わせ種別で回答と引き継ぎを確認し、運用責任者が結果を承認してから範囲を広げます。

提案を検証可能な運用変更にするための一覧です。担当者と確認日を残し、ナレッジ変更と回答品質を追跡します。

• 1. 会話量・引き継ぎ・品質シグナル・ナレッジ準備指標：会話量は需要、引き継ぎは業務境界、品質シグナルは確認候補、ナレッジ準備は原因を示します。一指標を成功率とせず推移を合わせて読みます。 この基準で合格例一件と有人引き継ぎ例一件を保存します。
• 2. 顧客要望・実作業・根拠不足による引き継ぎ基準：顧客の明示依頼、アカウント調査、実変更、根拠不足を別の引き継ぎ理由で記録します。ナレッジ不足と人員作業を区別できます。 この基準で合格例一件と有人引き継ぎ例一件を保存します。
• 3. 低評価の分類と修正後の再検証：低評価は誤答の確定ではなく確認シグナルです。会話、検索根拠、当時有効なポリシーを見て修正要否を決めます。 この基準で合格例一件と有人引き継ぎ例一件を保存します。
• 4. 繰り返す未回答を新しいヘルプに変える方法：表現が違っても同じ意図なら一つのナレッジギャップにまとめます。頻度と影響で優先順位を付け、ヘルプ、Q&A、引き継ぎ案内から最小の解決策を選びます。 この基準で合格例一件と有人引き継ぎ例一件を保存します。