令和3年度 秋期 システム監査技術者試験 午後Ⅰ 問1 チャットボット導入プロジェクトの企画段階におけるAI特有のリスクと監査

問1 チャットボット開発の企画段階における監査に関する次の記述を読んで，設問1〜4に答えよ。

A社は，家庭用品を製造・販売している企業であり，顧客からの問合せに対応するためのコールセンタを自社で運用している。コールセンタでは，問合せ集中時の対応の遅れや品質のばらつきが課題となっている。他社のコールセンタで，チャットボットを導入して効果が出ている事例があることから，A社はコールセンタへのチャットボットの導入を検討している。

A社は，チャットボットの開発・利用経験がないので，ITベンダの協力を得て開発する計画である。監査部は，コールセンタでのAIの利用は業務運営，顧客サービスなどに大きな影響を与える可能性があると考え，システム監査を実施することにした。しかし，チャットボット開発の監査経験がないので，社外のシステム監査人M氏に監査チームへ参画してもらい，助言を受けながら監査を実施することにした。

〔コールセンタの概要〕

コールセンタは，電話や電子メールを用いて，顧客からの問合せ対応やアフターフォローを行っている。コールセンタの運営は，着呼の自動振分け，顧客に関する情報照会，対応記録の一元管理，稼働状況に応じたオペレータへの着呼の割当て，通話録音などの機能をもつコールセンタシステムで支援されている。

〔チャットボット開発の概要〕

監査チームは，予備調査として，コールセンタとシステム部にヒアリングを行い，関係資料を閲覧した結果，次の情報を得た。

(1) チャットボットの機能

コールセンタとシステム部が協議して，オペレータを支援する機能の強化としてチャットボットを導入することとした。チャットボットは，AIを利用した音声認識と自然言語処理によって，対応中の顧客の発言の趣旨を解析し，オペレータに回答候補を提示する。

(2) 構想立案と概念実証

コールセンタとシステム部が協議した内容を構想立案書としてまとめ，次に，概念実証（以下，PoCという）の実施に当たりPoC計画書を作成した。
コールセンタは，コールセンタへ問合せのあった顧客の音声（以下，学習データという）とオペレータの回答音声（以下，教師データという）の1か月分を準備した。システム部は，学習データと教師データの全件をAIに学習させ，PoCの実施結果をPoC評価書としてまとめた。

(3) 要件定義以降の開発計画

システム部は，PoC評価書を踏まえて，ひとまず開発概要書を作成し，要件定義に向けた準備を進めている。一方，PoCの実施結果に一部想定外の状況が発生しているので，PoCを継続して実施する予定である。チャットボット開発の流れは図1のとおりであり，現在はPoC工程の途中の段階である。

なお，開発概要書には，次のとおり記述されている。

① システム部が開発し，コールセンタはテスト工程で操作性などを確かめる。
② テスト工程では，学習データと教師データを3か月分に増やして学習させ，結果を評価し，想定した結果が得られた場合には本番移行が承認される。
③ 本番移行工程では時間が限られ，直前のテスト工程では結果が評価されることから，学習データと教師データの量を6か月分に増やして学習だけを行い，本番運用を開始する。

(4) オペレータ教育

開発概要書には，オペレータ教育について，“現行のマニュアルの中で操作方法が変更になる箇所だけを更新し，業務の繁閑を考慮しながらオペレータを教育する”と記述されている。

〔監査チームが想定したリスク〕

監査チームは，チャットボット開発のリスクを次のとおりまとめた。

(1) 構想立案工程のリスク

AIの利用は経営や業務へのリスクがある。導入目的や利用範囲について，経営会議などの審議を経て経営層が承認するプロセスが必要である。

(2) PoC工程のリスク

PoCの計画策定時に評価基準が不明確な場合には，実施結果の良否判断ができず，PoCの終了を判断できないリスクがある。また，評価結果が不明確な場合には開発計画が不確実になり，期待どおりのチャットボットを開発することができないリスクがある。そのため，PoCの計画策定では，実施の目的，結果の評価基準及び終了基準を定める必要がある。PoC工程実施後は，計画で定めた評価基準及び終了基準を満たしているかを明確に評価する必要がある。

(3) 学習と評価のリスク

チャットボットの学習では要求される品質を満たす学習データと教師データを選定，準備し，必要な各工程で学習させないと，チャットボットが適切でない回答をするリスクがある。学習後は，結果が正しいかどうかを評価する必要がある。

(4) オペレータ教育のリスク

オペレータ教育が不十分な場合にはAIが示した誤った結果をそのまま顧客に回答するリスクがある。AIが示す結果は常に正しいとは限らないので，結果の利用可否を人が判断する必要がある。チャットボットについても同様で，操作方法の変更だけでなく，結果の正しさや利用可否をオペレータ本人が判断すべきであることを教育する必要がある。その際，オペレータ教育の内容や実施計画の妥当性を事前に考慮することが重要である。

〔M氏の助言〕

監査チームは，想定したリスクを踏まえて作成した監査手続書について，M氏に助言を求めた。M氏の助言は次のとおりである。

(1) 監査手続としてAIに関する開発原則を確かめるだけでは不十分であり，追加の手続が必要である。

(2) 開発概要書を作成しており，PoCを継続実施する計画になっている。今後のPoCの評価が不明確な場合は開発が遅延するリスクがある。PoCの計画と実施についての監査手続が必要である。

(3) 開発概要書を見る限り，本番移行工程には問題がある。本番運用において期待効果が得られない可能性があるので，詳しく調査する必要がある。

(4) オペレータ教育について，教育内容や実施計画が不十分なので，詳しく調査する必要がある。

〔修正した監査手続書〕

監査チームはM氏の助言を踏まえて，表1のとおり監査手続書を修正した。