※本記事は、Sudhir Dureja, Barry Mostert, Viji KrishnamurthyによるTransforming IT support: Introducing the generative AI-powered service deskを翻訳したものです。

 

Oracleの従業員向けITサポートチームは、毎月約50,000件の問い合わせに対応し、ピーク時には1日5,000件に上ることがあります。

従業員がSlackに問い合わせ内容を投稿すると、キーワードを用いたルールベースで構築された、Atlassian Assistと連携するSlack Botが、一次回答を行います。しかし、現行のBotは、問い合わせ内容を解析したり、関連する記事を提示したりすることが正確にできないため、Botが一次回答した問い合わせの90%以上が、世界中に散らばる140名以上のITサポートエンジニアにエスカレーションされる状況に陥っていました。このように、問い合わせの自己解決率が理想とはかけ離れていたため、ITサポートチームは、エンジニアの効率性を高めるため、生成AIを用いたBotの再構築に着手しました。

過去のBotとのやり取りや、問い合わせ内容を分析した結果、以下に示す非効率な点を解消することに焦点を当てることとしました。

  • 把握できる文脈に限界がある: 会話の中の文脈を理解し、覚えることが苦手なため、特に複雑な問い合わせの際に、不正確な回答を引き起こしていました。
  • 曖昧な質問に対して正確な回答ができない: 曖昧で不明瞭な問い合わせは、Botにとって正確に解釈することが難しくなります。そのようなケースにおいては、Botは一般的な回答しかできないため、従業員の不満を招き、問題解決をさらに遅らせることに繋がっていました。
  • 応答時間が延びる: 問い合わせの分量が増え、回答にかかる時間が長くなっていました。回答が遅れることで、従業員の不満はさらに大きくなります。

これらの要素は、サービス品質の低下を印象付け、従業員の体験と生産性にネガティブな影響を与えていました。

 

ソリューション概要

生成AIの利点を最大限活用するために、ITサポートチームは、AIサービスデスクを構築しました。このSlack Botは、従業員の問い合わせに対し正確かつステップ・バイ・ステップの手順を示すことで、品質を低下させることなく多くの問い合わせに自動で対処できるものです。さらには、従業員とのやり取りを通じて継続的に改善を行います。

AIサービスデスクは、回答の作成のために、社内のナレッジベースをもとにした、検索拡張生成(RAG)を用いたアーキテクチャを採用しています。このアーキテクチャは、検索のために必要なコンポーネントから構成されており、情報空間(※訳注: 検索される情報のソース)を限定し、回答の生成をより正確かつ効率的にすることができます。AIサービスデスクの構築にあたって、以下のOracleのサービスや機能を採用しました。

  • Oracle Autonomous Database: データレイクとして機能し、ITヘルプに関するナレッジ記事や、Confluence、社内ポータルの情報などを保存
  • Oracle Digital Assistant: チャットのやり取り
  • Oracle Mobile Hub: モバイルアプリ連携
  • Oracle Autonomous Database: 分析用の統計情報の保存
  • OCI Generative AI: 大規模言語モデル(LLM)を用いた検索拡張生成(RAG)ソリューションの構築
  • OCI Data Science: 機械学習モデルの保存や正確性の測定

AIサービスデスクは、2024年の初頭にリリースされ、現在その効率性を評価しているところです。主な指標は、AIによって解決した問い合わせの割合、自己解決率の増加率、問い合わせ数の減少率、問い合わせの解決までにかかる時間、従業員の満足度、サポートエンジニアの生産性などが挙げられます。

Enterprise Engineeringのシニア・ディレクターSudhir Durejaは、「生成AIを用いたAIサービスデスクによって、自己解決率が25%〜30%に向上しました」と語っており、これは、週に3,100〜4,000件の問い合わせに相当します。

こうした自己解決率の改善によって、サポートエンジニアは、ナレッジベースの拡張に時間を割くことができるようになりました。このことは、Botが、効率性を高め、専門的なサポートが必要な二次回答者としての役割を果たすことに繋がります。

 

ソリューションの実装詳細

AIサービスデスクの開発は、Oracleの社内文書を対象にした、モダンな検索プラットフォーム構築に投資してきた何年もの経験に基づいています。13の異なるサービスからデータを収集し、月間500,000クエリに対処し、75%という高いクリック率を誇ります。

AIサービスデスクの主要なモジュールは、以下の通りです。

  • Oracle Digital AssistantをベースにしたSlack Bot
  • サポートエンジニアが使用する問い合わせシステム
  • OCI Generative AIを用いた検索拡張生成(RAG)ソリューション
  • APEXを用いた分析システム
図1: AIサービスデスクのハイレベルな業務の流れ
図1: AIサービスデスクのハイレベルな業務の流れ

Oracle Digital AssistantをベースにしたSlack Bot

サポートが必要な従業員は、社内のSlackチャネル #it-support に問い合わせを投稿します。Slackのカスタムアプリ「AIサポートデスク」は、Slackの投稿をモニタリングしており、自動で問い合わせに返答を行います。このSlackアプリには、Oracle Digital AssistantのSlack Channel設定を通じて、Webhook URLが登録されています。

従業員が問い合わせを投稿すると、次のような流れでやり取りが進みます。

  1. Slack Botが従業員に定型文で挨拶をします。
  2. 従業員の問い合わせを解析し、裏付けを持った回答をできるようなプロンプトを、検索拡張生成(RAG)ソリューションに、自動で発行します。
  3. OCI Generative AIが、ナレッジベースをもとに生成した、ステップ・バイ・ステップの回答を返答します。


3. OCI Generative AIが、ナレッジベースをもとに生成した、ステップ・バイ・ステップの回答を返答します。

  1. 回答と同時に、以下のボタンを提供します。
    1. 記事を読む: 回答の裏付けとなるナレッジベースの情報を引用することで、従業員が必要に応じて参照できるようにするボタン
    2. 文脈に応じたアクション: 例えば「SSOのパスワードをリセットする」のような、従業員が直接アクション可能なボタン
  2. 従業員が指示に従い、必要なアクションを取ると、Slack Botが、問題が解決したかどうかを尋ねます。従業員が「解決しました」と返答した場合は、Slackのスレッドのやり取りが終了し、これ以上コメントができないようになります。


5. 従業員が指示に従い、必要なアクションを取ると、Slack Botが、問題が解決したかどうかを尋ねます。

3. 従業員が「まだ解決していません」と返答した場合は、フォームが表示されます。フォームへの入力が終わると、サービス・リクエスト(SR)が発行され、人間のサポートエンジニアが担当になります。担当のサポートエンジニアは、問い合わせシステム(後述)を用いて、従業員とのやり取りを開始します。Slackとの連携ができているため、従業員とサポートエンジニアは、同じSlackのスレッド上でやり取りを継続することができます。そのため、システムを切り替える必要はありません。


フォームへの入力が終わると、サービス・リクエスト(SR)が発行され、人間のサポートエンジニアが担当になります。

 

 

サポートエンジニアが使用する問い合わせシステム

人間のサポートエンジニアは、Atlassian Jira Service Managementを、サービス・リクエスト(SR)の管理に用いています。Oracle Digital AssistantベースのSlack Botは、このシステムに「スキル」として設定されており、Slackチャネル上のやり取りが連携されます。そのため、サポートエンジニアは問い合わせシステム上で、従業員はSlackのスレッド上で、やり取りをすることができます(図2)。このような連携により、サポートエンジニアと従業員双方にとって、やり取りの継続性が生まれ、不満な状態を回避することができます。

図2: Slackのスレッドで行われるサポートエンジニアと従業員のやり取り
図2: Slackのスレッドで行われるサポートエンジニアと従業員のやり取り

 

OCI Generative AIを用いた検索拡張生成(RAG)ソリューション

従業員が入力した質問と文脈は、情報を検索するRetrieverシステム(※訳注: ベクトル化された文書を検索するための仕組み)に渡されます。Retrieverは、インデックスされた多数の記事を対象にしたセマンティック検索を行い、上位の文書をランキングします。ランキングされた文書と、従業員の質問をベースにしたプロンプトが、Q&Aモデルに渡され、OCI Generative AIが、最適な回答を生成します。生成された回答と、文書のIDがBotに返却され、それらが、最終的な従業員への回答になります。

図3: 検索拡張生成(RAG)を用いたハイレベルアーキテクチャ
図3: 検索拡張生成(RAG)を用いたハイレベルアーキテクチャ

 

APEXを用いた分析システム

ここまで、「Oracle Digital AssistantをベースにしたSlack Bot」「サポートエンジニアが使用する問い合わせシステム」「OCI Generative AIを用いた検索拡張生成(RAG)ソリューション」が、ITサポートを自動化する方法について記述してきました。こうしたAIサービスデスクの効果は、回答そのものや、自己解決率、解決までの時間などを、継続的にモニタリングすることで、測定することができます。分析システムは、従業員とサポートエンジニアのやり取りや、Oracle Autonomous Databaseを用いた集計結果など、AIサービスデスクの全てのアクティビティを監視しています。具体的には、Oracle APEX上で構築されたアプリケーションを用いて、Oracle Autonomous Database上のデータから、スレッド数や、問い合わせの数、自己解決した数などの指標を集計し、図4のように可視化します。

図4: 問い合わせ数と自己解決数の可視化
図4: 問い合わせ数と自己解決数の可視化

 

オラクルサポート内の、サポートアナリティクスチームとデータサイエンスチームが、この分析ダッシュボードを参照しており、サポートアナリティクスチームは、問い合わせをモニタリングし、生成AIが解決できなかったカテゴリを分析しています。自己解決に至らなかった原因が、ナレッジベースの不足である場合は、記事を分析し、改善が必要かどうかを判断します。

一方、データサイエンスチームも、同様に従業員とのやり取りを分析し、検索拡張生成(RAG)の動作を最適化するよう努めています。
 

図5: 問い合わせカテゴリの分析画面
図5: 問い合わせカテゴリの分析画面

 

AIサービスデスクの未来

ITサポートチームは、この先半年から1年にかけて、問い合わせの自己解決率が50%〜60%になるよう、検索拡張生成(RAG)とナレッジベースへの投資を継続していきます。具体的には、AIサービスデスクが、従業員の質問や置かれた状況に応じて、回答を修正できるよう、さらなる開発を継続する予定で、人間のサポートエンジニアの介入を必要としない問題解決が可能になります。これにより、従業員体験を向上させ、問題解決のスピードをさらに加速させることを目標としています。