令和3年度 秋期 システム監査技術者試験 午後Ⅰ 問3 基幹システム再構築プロジェクトにおける結合テスト完了評価の監査

学習ガイド

産業用機械メーカのC社が、基幹システムの再構築をP社に委託して進めるなかで、結合テストの完了評価の適切性を監査する問題です。テスト項目の質の確認、マスタデータの作成ミスへの再発防止策、類似不良の点検結果の共有、インタフェースの残課題への対応、システムテストの体制が問われます。PMOが問題なしとした確認結果をそのまま受け取らず、根拠資料の記述と工程計画からリスクを探します。

この記事で押さえる論点

  • 結合テストの品質評価において、テスト密度の数値だけでなくテスト項目の質を確認する理由を説明できる
  • 生産管理システムで起きた課題について、システムテストに向けた再発防止の対応を確かめる監査手続を述べられる
  • 複数チームでの並行開発において、類似不良の点検結果をプロジェクト全体で共有する重要性を説明できる
  • インタフェース機能の仕様漏れの接続確認をシステムテストまで持ち越すリスクと、その低減策を述べられる
  • 請負契約から準委任契約に変わる工程において、委託元が主体的にテストを実施する体制の必要性を説明できる

問題本文

問3 結合テストの監査に関する次の記述を読んで,設問1〜5に答えよ。

産業用機械メーカのC社は,20年以上前にホストコンピュータ上に構築した現行の基幹システム(以下,現行システムという)を刷新するために,現在,システム再構築プロジェクト(以下,当プロジェクトという)を進めている。

現行システムは,販売管理,生産管理,購買管理の各業務システムから構成されている。現行システムの構築当初は人事給与及び財務会計の業務システムも実装されていたが,これらについては,3年前にオープン系のパッケージシステムへ移行済みである。当プロジェクトは,現行システムを構築したP社に委託し,1年前からオープン系システムとして再構築に取り掛かっている。

C社監査部は,当プロジェクトの重要性に鑑み,システム部での勤務経験があるD氏が中心となり,これまでにプロジェクト計画段階,要件定義完了段階のシステム監査を実施している。当プロジェクトは,現在,結合テストの終了段階に入っており,監査部は,最終のテスト工程であるシステムテスト開始前に,結合テストの完了評価の適切性について,システム監査を実施することにした。D氏を含む監査部メンバは,当プロジェクトの関係者にヒアリングするとともに,関連資料を閲覧した。

〔工程計画〕

当プロジェクトは,①要件定義,②設計,③製造/単体テスト,④結合テスト,⑤システムテスト,⑥移行という工程になっている。P社との委託契約は,②設計〜④結合テストは請負契約であり,①要件定義,⑤システムテスト,⑥移行に関しては準委任契約である。

C社は,業務システムごとの結合テストを完了した後,システムテストにおいて,業務システム全てを連携させたテストとユーザ受入テストを行う計画である。

〔開発体制〕

当プロジェクトの開発体制は,図1のとおりである。システム部では,現行システムの運用と保守を中心に行ってきたので,新規のシステム開発のノウハウが不足している。そのため,実質的には,要件定義の段階からP社が中心となって開発プロジェクトを進めており,システム部が,P社開発成果物のレビュー・承認,C社利用部門との仕様などの調整を担当している。

プロジェクト管理については,システム部長がプロジェクトマネージャ(以下,PMという)として全体を統括し,システム企画課がプロジェクト全体の運営事務局(以下,PMOという)として,P社の開発リーダ及びプロジェクト管理チームと連携して,進捗管理,品質管理,課題管理などを行っている。

図1 当プロジェクトの開発体制
図の説明テキスト

「図1 当プロジェクトの開発体制」というタイトルの組織体制図。
大きく「C社システム部」と「P社」の2つの枠に分かれており、上の「C社システム部」の枠の下辺と下の「P社」の枠の上辺が縦線で接続されている。

「C社システム部」の枠内:

  • トップに「部長(PM)」があり、その下に線で「販売管理システム課」、「生産管理システム課」、「購買管理システム課」、「システム企画課(PMO)」が接続されている。

「P社」の枠内:

  • トップに「開発リーダ」があり、その下に線で「販売管理開発チーム」、「生産管理開発チーム」、「購買管理開発チーム」が接続されている。
  • 「開発リーダ」から下へ伸びる線の途中から右へ線が分岐し、「プロジェクト管理チーム」に接続されている。

〔PMへのヒアリング〕

監査部が,結合テスト完了評価の実施方法及び実施結果について,PMにヒアリングした結果,次のことが分かった。

(1) P社の各開発チームは,P社のプロジェクト管理チームが作成した結合テスト完了基準に従って,各業務システムの結合テスト完了評価を行い,結合テスト完了評価報告書を作成した。

(2) PMOは,結合テスト完了基準の内容を確認した上で,完了基準未充足の項目がないかどうかを確認したが,特に問題点は見つかっていない。システムテストも引き続きP社の協力を得て実施する予定であり,懸念点はないと考えている。

(3) 生産管理システムの結合テストで進捗の遅延が一時的に発生したが,これは,マスタデータの作成ミスによって一部テストのやり直しが発生したことが原因である。システムテストで同様の事象が発生するとシステムテスト全体の進捗にも影響が出るので,課題として指摘し,P社に再発防止を要請した。

〔結合テスト完了基準と完了評価結果〕

結合テスト完了基準と根拠資料は表1のとおりである。

表1 結合テスト完了基準と根拠資料
図の説明テキスト
項番 評価項目 完了基準 根拠資料
1 進捗 テスト項目を全件消化していること 進捗管理表
2 品質 残不良件数が0件であること 不良管理表
次の品質指標が基準範囲内にあること,又は,基準範囲内にない場合は,その理由が明確であること
・不良密度(不良発生件数/システム規模)
・テスト密度(テスト項目数/システム規模)
品質評価結果
発生した不良の原因分析を行い,品質向上策が実施済みであること 品質評価結果
3 課題 結合テストで発生した課題の対応が全て完了していること,又は,残課題がある場合は,対応内容,対応期限が明確であること 課題管理表

各業務システムの結合テスト完了評価報告書では,“全ての完了基準を充足しているので,結合テスト完了に問題ない。”と評価されていた。そこで,監査部が各業務システムの結合テスト完了評価の根拠資料を閲覧したところ,次のことが分かった。

(1) 販売管理システムの品質評価結果では,“不良密度は基準範囲を下回っている。しかし,テスト密度が基準範囲内であり,テスト項目数が十分であること,類似不良の点検も実施済みであることから,品質には問題ない。”とされている。

(2) 生産管理システムの品質評価結果では,“財務会計システムとの疎通確認テストで不良が発生したことによって,不良密度が基準範囲を上回っている。しかし,テスト密度は基準範囲内にあること,テスト項目はエラーケースも含めて質的に十分であること,また,チーム内で類似不良についての品質向上策を実施済みであることから,品質には問題ない。”とされている。

(3) 購買管理システムの課題管理表では,結合テスト実施中に発見された生産管理システムとのインタフェース機能の仕様漏れについて,“プログラム修正とチーム内のテストは完了済み。生産管理システムと接続させての確認はシステムテストで実施予定。”とされていた。

なお,システムテストは,環境を整備するための準備期間が計画より長くなり,余裕の少ないスケジュールとなる見込みである。

〔追加の確認事項と検討事項〕

関係者へのヒアリング及び関連資料の閲覧の結果を踏まえ,D氏は,システム部による結合テスト完了評価結果に関するリスクを洗い出し,追加の確認事項と検討事項を次のとおり整理した。

(1) 販売管理システムの品質評価結果では,問題がない理由としてテスト項目数が十分であることを評価しているが,それだけでは不十分なので,追加で確認する。

(2) 生産管理システムで発生した課題について,システムテストに向けて適切に対応が行われているかどうかを確認する。

(3) 生産管理システムの品質評価結果に記載されている類似不良の品質向上策に関して,財務会計システムは他業務システムともインタフェースがあることから,プロジェクトとしての対応が適切かどうかを確認する。

(4) 購買管理システムと生産管理システムとのインタフェース機能の残課題について,システムテストでのリスクを低減するための改善提案を検討する。

(5) 〔工程計画〕の内容を踏まえ,今後のシステムテストにおける当プロジェクトの体制に問題がないかどうかを確認する。

設問と解答・解説

設問1

配点 10点

〔追加の確認事項と検討事項〕(1)について,D氏が不十分と判断した理由は何か。30字以内で述べよ。

模範解答

テスト項目の質が十分であることが評価されていないから

採点基準

知識・理解度(内容)6点
  • 6点: テスト項目の「質」が十分であるかが評価されていない旨を明確に記述している
  • 3点: テスト項目の「質」に関連する言及があるが、不十分な理由としてやや不正確である
  • 0点: テスト項目の質に関する言及がない、または内容が誤っている
論理性(構造)4点
  • 4点: 「〜から」「〜ため」など、理由として適切な文末表現で、論理的に構成されている
  • 2点: 理由としての構造は持つが、文脈にやや不自然さがある
  • 0点: 理由として成立していない、または意味が通じない

解説

D氏が不十分と判断した理由を問う問題です。

対象の記述は、〔追加の確認事項と検討事項〕(1)の「販売管理システムの品質評価結果では,問題がない理由としてテスト項目数が十分であることを評価しているが,それだけでは不十分なので,追加で確認する。」です。

  • 〔結合テスト完了基準と完了評価結果〕の「販売管理システムの品質評価結果」では、「不良密度は基準範囲を下回っている。しかし,テスト密度が基準範囲内であり,テスト項目数が十分であること、類似不良の点検も実施済みであることから、品質には問題ない。」と記載されています。
  • 不良密度が下回る(バグが少ない)場合、本当に品質が良い場合と、テストが甘い(テストの質が低い)場合が考えられます。テスト密度(テスト項目数)はテストの「量」を表していますが、それだけではテストの「質」が十分であるかは分かりません。
  • 本文の「生産管理システムの品質評価結果」には、「テスト項目はエラーケースも含めて質的に十分であること」という記述があります。これと比較すると、販売管理システムの評価にはテストの「質」への言及が欠けていることがわかります。

したがって、テストの質的評価が行われていないことが、不十分と判断した理由となります。

高得点のポイント

  • テスト項目の「量」だけでなく「質」が評価されていないことを指摘できているか
  • D氏が不十分と判断した「理由」として適切な文末(「〜から」など)で論理的に構成されているか

設問2

配点 10点

〔追加の確認事項と検討事項〕(2)について,対応が適切に行われているかどうかを確認するための監査手続は何か。監査証拠を含めて50字以内で具体的に述べよ。

模範解答

課題管理表を閲覧し,マスタデータの作成ミスの再発防止策の内容と対応期限を確かめる。

採点基準

知識・理解度(内容)6点
  • 6点: 監査証拠として「課題管理表」を挙げ、マスタデータの作成ミスの再発防止策(対応内容・期限)を確かめる旨が具体的に記述されている
  • 3点: 監査証拠または確認内容のいずれかが欠けている、あるいは「マスタデータの作成ミス」に着目せず抽象的な課題管理の記述に留まっている
  • 0点: 品質管理に関する記述となっているなど、本文の事例を正しく読み取れていない
論理性(構造)4点
  • 4点: 監査手続として、「〜を閲覧し、〜を確かめる」という具体的な形式で論理的に構成されている
  • 2点: 監査手続としての意図は伝わるが、記述がやや不明瞭または不自然である
  • 0点: 監査手続として成立していない、または意味が通じない

解説

生産管理システムで発生した課題に対して、対応が適切に行われているかを確認するための監査手続を問う問題です。

対象の記述は、〔追加の確認事項と検討事項〕(2)の「生産管理システムで発生した課題について、システムテストに向けて適切に対応が行われているかどうかを確認する。」です。

  • 〔PMへのヒアリング〕(3)より、生産管理システムで発生した課題とは「マスタデータの作成ミスによって一部テストのやり直しが発生したこと」です。PMはこれに対し、「システムテストで同様の事象が発生するとシステムテスト全体の進捗にも影響が出るので,課題として指摘し,P社に再発防止を要請した」と述べています。
  • 〔結合テスト完了基準と完了評価結果〕の表1「結合テスト完了基準と根拠資料」の項番3「課題」を見ると、根拠資料は「課題管理表」であり、完了基準は「結合テストで発生した課題の対応が全て完了していること,又は,残課題がある場合は,対応内容,対応期限が明確であること」とされています。

したがって、監査証拠として「課題管理表」を閲覧し、マスタデータの作成ミスに対する再発防止策(対応内容)とその対応期限が明確になっているかを確かめる手続を記述します。

高得点のポイント

  • 監査証拠として表1に記載された「課題管理表」を特定できているか
  • 抽象的な課題管理ではなく、本文の事例に基づく「マスタデータの作成ミス」や「再発防止策」に具体的に着目できているか
  • 監査手続として「〜を閲覧し、〜を確かめる」という形式で具体的に記述できているか

設問2は,正答率がやや低かった。生産管理システムの課題管理に関する監査手続を問うたが,品質管理に関する解答が多かった。また,抽象的な解答が多く,マスタデータの作成ミスに着目した具体的な解答が少なかった。設問に対応する本文の事例の内容を正確に読み取って解答してほしい。

設問3

配点 10点

〔追加の確認事項と検討事項〕(3)について,プロジェクトとしての対応に関して何を確認すべきか。35字以内で述べよ。

模範解答

類似不良点検について,開発チーム間で情報共有されているか

採点基準

知識・理解度(内容)6点
  • 6点: 生産管理開発チーム内にとどまらず、他の開発チームとの間で類似不良点検等の情報が共有されているかを明確に記述している
  • 3点: 情報共有の必要性には触れているが、開発チーム間(他システム)への展開である旨が不明確である
  • 0点: 開発チーム間での情報共有に関する言及がない、または内容が的外れである
論理性(構造)4点
  • 4点: 確認すべき内容として、適切な文末表現で簡潔に構成されている
  • 2点: 確認事項としての構造は持つが、文脈にやや不自然さがある
  • 0点: 確認事項として成立していない、または意味が通じない

解説

プロジェクトとしての対応に関して確認すべき事項を問う問題です。

対象の記述は、〔追加の確認事項と検討事項〕(3)の「生産管理システムの品質評価結果に記載されている類似不良の品質向上策に関して,財務会計システムは他業務システムともインタフェースがあることから,プロジェクトとしての対応が適切かどうかを確認する。」です。

  • 〔結合テスト完了基準と完了評価結果〕の「生産管理システムの品質評価結果」(2)には、「チーム内で類似不良についての品質向上策を実施済み」と記載されています。
  • しかし、本文に「財務会計システムは他業務システムともインタフェースがある」とあるように、生産管理システムで発生した不良と同様の不具合が、販売管理システムや購買管理システムなど他の業務システムにも潜んでいる可能性があります。
  • したがって、「プロジェクトとしての対応」を評価するためには、生産管理開発チーム内だけで品質向上策を完結させるのではなく、他の開発チームとの間でも類似不良の点検や情報共有が行われているか(水平展開されているか)を確認する必要があります。

高得点のポイント

  • 生産管理開発チーム内に限定せず、開発チーム間での情報共有(水平展開)の必要性に言及できているか
  • 確認すべき対象(類似不良点検・品質向上策)を含めて簡潔に記述できているか

設問3は,正答率が平均的であった。財務会計システムは生産管理システムだけでなく他業務システムともインタフェースがあるということを踏まえ,生産管理開発チーム内だけでなく開発チーム間での情報共有が必要であることに気付いてほしい。

設問4

配点 10点

〔追加の確認事項と検討事項〕(4)について,改善提案の内容として考えられることは何か。50字以内で具体的に述べよ。

模範解答

システムテスト開始前に購買管理システムと生産管理システムとの疎通確認テストを実施すること

採点基準

知識・理解度(内容)6点
  • 6点: 購買管理システムと生産管理システムの間の疎通確認(接続テスト)を、システムテスト開始前に実施することを具体的に提案している
  • 3点: 疎通確認の実施を提案しているが、タイミング(システムテスト開始前)への言及が欠けているなど、具体性に欠ける
  • 0点: 疎通確認の実施に関する提案がない、または内容が的外れである
論理性(構造)4点
  • 4点: 改善提案として、適切な文末表現(「〜すること」など)で論理的に構成されている
  • 2点: 提案としての意図は伝わるが、記述がやや不明瞭または不自然である
  • 0点: 提案として成立していない、または意味が通じない

解説

購買管理システムと生産管理システムの残課題に対する改善提案を問う問題です。

対象の記述は、〔追加の確認事項と検討事項〕(4)の「購買管理システムと生産管理システムとのインタフェース機能の残課題について,システムテストでのリスクを低減するための改善提案を検討する。」です。

  • 〔結合テスト完了基準と完了評価結果〕の「購買管理システムの課題管理表」(3)を見ると、インタフェース機能の仕様漏れについて「プログラム修正とチーム内のテストは完了済み。生産管理システムと接続させての確認はシステムテストで実施予定。」とされています。
  • しかし、同じ項目の最後に「システムテストは,環境を整備するための準備期間が計画より長くなり,余裕の少ないスケジュールとなる見込みである。」と記載されています。
  • 余裕のないシステムテストにおいて、初めて両システムを接続して確認を行い、万が一新たな不具合が発見された場合、システムテスト全体のスケジュールに大きな影響を与えるリスクがあります。
  • このリスクを低減するためには、システムテストの開始を待つのではなく、システムテスト開始前に購買管理システムと生産管理システムの疎通確認テストを前倒しで実施するよう提案することが適切です。

高得点のポイント

  • 購買管理システムと生産管理システムの間の疎通確認(接続テスト)の実施を提案できているか
  • システムテストでのリスクを低減するためのタイミングとして「システムテスト開始前」を明記できているか

設問5

配点 10点

〔追加の確認事項と検討事項〕(5)について,当プロジェクトの体制に関して何を確認すべきか。45字以内で具体的に述べよ。

模範解答

C社システム部及び利用部門が主体的にシステムテストを実施する体制を確保できるか

採点基準

知識・理解度(内容)6点
  • 6点: システムテストの実施主体がC社(システム部および利用部門)であり、主体的に実施する体制が確保できるかを明確に記述している
  • 3点: 体制確保の必要性には触れているが、C社(システム部および利用部門)の主体的関与についての記述が不明確である
  • 0点: C社の主体的な体制確保に関する言及がない、または内容が的外れである
論理性(構造)4点
  • 4点: 確認すべき内容として、適切な文末表現で論理的に構成されている
  • 2点: 確認事項としての構造は持つが、文脈にやや不自然さがある
  • 0点: 確認事項として成立していない、または意味が通じない

解説

今後のシステムテストにおけるプロジェクトの体制に関して確認すべき事項を問う問題です。

対象の記述は、〔追加の確認事項と検討事項〕(5)の「〔工程計画〕の内容を踏まえ,今後のシステムテストにおける当プロジェクトの体制に問題がないかどうかを確認する。」です。

  • 〔工程計画〕を見ると、「②設計〜④結合テストは請負契約であり,①要件定義,⑤システムテスト,⑥移行に関しては準委任契約である」と記載されています。また、「システムテストにおいて,業務システム全てを連携させたテストとユーザ受入テストを行う計画である」とされています。
  • 準委任契約となるシステムテスト以降は、完成責任を負うベンダ(P社)ではなく、委託元であるC社が主体となって推進する必要があります。ユーザ受入テストが含まれるため、システム部だけでなく利用部門の参加も不可欠です。
  • しかし、〔開発体制〕には「実質的には,要件定義の段階からP社が中心となって開発プロジェクトを進めており…」とあり、これまでC社は主体的とは言えません。さらに〔PMへのヒアリング〕(2)でも、PMは「システムテストも引き続きP社の協力を得て実施する予定」と述べており、P社へ依存する姿勢が見られます。
  • したがって、P社任せにするのではなく、C社(システム部及び利用部門)自らが主体的にシステムテストを実施できる体制を確保できるかどうかが、確認すべき重要なポイントとなります。

高得点のポイント

  • システムテストの実施主体がC社(システム部および利用部門)であり、主体的な関与が求められることを指摘できているか
  • 今後のシステムテストにおけるC社側の体制が確保できるかを確認する内容として記述できているか

Spineチーム