【Oracle Database】サポートセンターでの生成AI（Glean）活用

この記事はJPOUG Advent Calendar 2023 の21日目の記事です。
前日は Kazuhiro Takahashi さんの「OCI BaseDBの19cから23cへアップグレード(AutoUpgrade編)」でした。AutoUpgradeを利用したアップグレード手順が詳細に解説されていて非常に勉強になりました。

さて、今日のテーマは「サポートセンターでの生成AIの活用」です。
ChatGPTの台頭によってAIが民主化され、様々な業務に影響を与えています。

アシストでも、生成AIベースのSaaS型インサイトエンジンであり、ChatGPT×横断検索によるAIアシスタントの機能を持つAIプラットフォーム「Glean 」の取り扱いを始めました。自社でも全社員が利用していることで様々な業務に変革が起きています。

生成AIを使い始めて約2ヵ月、Oracle Database製品のテクニカルサポート業務が生成AIの導入によって変わったところ、今後活用をしていきたい分野について紹介をしていきます。

コールセンター業務はAIに置き換わる／置き換わった、という話を聞くことがありますが、1問1答ではなかなか解決の難しいデータベース製品のテクニカルサポートではどうでしょうか。

サポートセンターにいただくお問い合わせの内容は製品機能に関するQAから、運用中に発生したエラーの調査、データベース停止やパフォーマンスダウンといった影響度の高いものまで様々です。

例えば、よくある（？）お問い合わせとして「ORA-00257といったエラーが発生して接続できません、対処方法を教えてください。」があります。Oracle Databaseの運用経験がある方はおそらく一度は遭遇している、アーカイブログの出力先がディスクフルになったときに発生するエラーです。

従来ですと、こういった事例のありそうなエラーの場合、データベース・エラー・メッセージマニュアルやMy Oracle Supportのドキュメント、過去事例を用いて調査をしますが、特にOracle Database製品の過去事例に関しては30年／30万件以上が社内ナレッジ検索システムに蓄積されているのでキーワード選びのセンスが問われます（ベテランサポートエンジニアの腕の見せどころの一つでもあります）。

検索システムでヒットした各事例の対応履歴を見ていき、過去事例の発生原因の説明文や対処方法の案内を参考にお客様向けの文章を作成します。

サポートセンターにはお問い合わせが起票されてからお客様への初回連絡は1時間以内に行うというルールがありますので、制限時間内に連絡用の文章を作るのにはかなりの集中力とスキルを要します。

では、Gleanを使って調べてみます。ChatGPTと横断検索が組み合わされており、対話形式で社内事例を元に文章を生成してくれます。検索対象はGeneral（世界中≒インターネットの情報を使用する）とGlean（社内ナレッジのみを使用する）があり、以後の図は全て社内ナレッジのみを使用する方で生成しています。

^{※「Glean」のチャットの入力内容は監査以外の目的で保持せず、また、LLMの学習には使用されません。}

質問から回答までは数秒です。

削除コマンドではなくcrosscheck／delete expiredのコマンドが先に表示されるあたりはお茶目に感じますが（追加質問のクリックで削除手順も作ってくれましたが）、初動でお客様にお伝えする情報としては十分な結果のように見えるので、この結果を元に従来の対応よりも早くお客様向けの回答文を作ることはできそうです。

サポートセンターで生成AIを使う上では、この「十分な結果のように見える」の判断ができるかがポイントで、質問できる範囲は自身の知識や経験で回答が作れるもの、もしくは少し調べれば自力でも対応できるものに限ります。例えば一度も触ったことのない機能について質問をしても、生成された文章の正しさを証明できないため回答には利用できません。裏取りにも時間がかかるため効果は限定的です。

回答を生成する上でソースにした社内の情報は「reading:XXXX」となっている箇所に表示されますので、裏取りをしたい場合は回答の元となった資料や問い合わせ対応を見てレビューやチェックをします。

特にレビューの部分は重要で、生成AIの回答は質問の背景やお客様の状況を考慮しないので技術的には正しくてもサポート対応としては正しくないということも起こり得ます。

例えば、削除手順の方では事前にバックアップの取得を勧めてくるなど心憎い気遣いもありますが、ORA-00257が出ている状況だとデータベースに接続ができずに運用が止まってしまっている可能性があります。

実際のサポート対応なら復旧を優先して先に削除→正常稼働後にバックアップ取得とするかはお客様とリスクも踏まえた会話をした上で調整しますし、コマンドも実機で一度試してからご案内します。

レビューが必須である以上テクニカルサポートをAIに完全に置き換えるのは難しいというのが今のところの私の認識ですが、他のメンバーの回答レビューができるくらいに経験豊富なサポートエンジニアにとっては、調査や回答文の作成にかかる作業時間を減らしてくれる強力なアシスタントとして活躍します。

前項では経験豊富なエンジニアにとっては作業時間を減らす強力なアシスタントと書きましたが、AIの導入は若手エンジニアにとっても恩恵があります。

私がサポートセンターに配属されたのは15年以上前で、製品知識を習得するためにはOracle Masterの勉強やマニュアルを読み込むくらいのものでしたが、実践派（勉強嫌い）だったのでとにかくサポート対応をたくさん担当することで知識をつけようとしていました。

ただ、この方法には「疑問点が出てくるたびに先輩社員にフォローしてもらわないといけない」という問題がでてきます。

業務で忙しそうな先輩に声をかけるのにはコツがいりますし、何度も同じ人に質問するのは相手がいくら優しい人でも憚られますが、AIには「対人」で発生する気遣いをすることなく質問できます。

たとえば、前項のORA-00257が若手エンジニアにアサインされたとして、DELETE ARCHIVELOG ALL; で接続障害は解消し、お客様対応としてはクローズしたとします。

通常であればここで「アーカイブ先がディスクフルになるとORA-00257で接続できなくなる」「RMANで削除することで解消する」という知識がついて終わりですが、生成された回答の下部には追加質問が並んでいます。

「アーカイブログを削除する前にバックアップを取得する必要がありますか？」「特定の日付以前のアーカイブログを削除する方法を教えてください」「ORA-00257 のエラーが発生しないようにするにはどうすればいいですか？」。お客様から追加質問としていただく可能性もある内容ですし、若手ならばこれも気になります。

ただ、他にもお問い合わせ対応がある中で追加でこれら全てを調べることは難しいですし、かと言って自分よりも忙しそうな先輩に「気になる」程度の内容を教えてもらうのは気が引けてしまうという慎ましい人もいるでしょう。

AIが相手ならこの辺を気にすることなく何個でも、何度でも質問できるので、生成された文章の意味を調べて理解する／ソースとなったサポートの事例を読み込む／例示されたコマンドを実機で試すといったことを繰り返していくだけでも問い合わせ対応以上の知識や経験を得ることができます。

コマンドを検証するための検証環境も、私が若手の頃は「検証環境マスター」みたいな人がいて、使いたい構成の環境があるかは都度教えてもらっていましたが、今はスプレッドシートで管理をしていてその内容も横断検索の対象ですのでチャットできけば教えてくれます。

自分が対応した問い合わせの追加質問を生成AIで作り、頼れる先輩として相談相手に使うことができれば1つの問い合わせから多くの知識や経験を得ることができます。今後はAIを活用し効率的な自己学習ができる人が、加速度的に成長していくことでしょう。

サポートセンターでの生成AI活用、いかがでしたか。Oracle Database製品のサポートでGleanの利用を始めたのが9月末ですので、執筆時点でまだ使い始めて2ヵ月弱程度です。凝った使い方はまだまだできていませんが、既にゲームチェンジャーの機運を感じていてワクワクします。

今回紹介したのはサポート業務を行う上での”相談相手”としての使い方ですが、レビュー（≒お客様の意図を理解したサポート対応ができているか）は無理でも、チェックならできるのではないかという検証は進めていて、一定の成果は出せそうです。

具体的には回答文をチャットに入力しチェックを依頼することで、誤字脱字は勿論、DBの停止を伴う操作や運用に影響の大きいパラメーターの変更、有償ライセンスが必要な機能名やコマンドが回答文に含まれていた場合は指摘してくれるといったものです。

その他には、過去ナレッジの「よくある問い合わせ」「頻出エラー」を元に、運用で遭遇するエラー対処のシミュレーション問題集の作成を試行しています。

ある程度問題数が揃ったら問題集の公開か、皆さまからご要望があれば「30万の事例から生成AIが作った！データベース運用トラブル防災訓練問題集解説！」と題してセミナーもできればと考えていますので、お便りお待ちしています。

ちなみに私自身はGleanそのものに対する製品知識は皆無です。もし興味をお持ちになられましたらコチラ Glean（グリーン）生成AIのSaaS型インサイトエンジン、AIアシスタント | アシスト よりお問い合わせください。

明日は「みなみん」さんです。よろしくおねがいします。