IPA データ分析・データ基盤 — 頻出論点と過去問

頻出論点

1. この分野は何か

手元のデータから、次に起きることの見通しや、項目どうしの隠れたつながりを引き出す手法と、そのために大量のデータをため、分けて速く処理する仕組みの分野です。予測したい項目があるのか、項目の数を減らして全体をつかみたいのか、一緒に起きる組合せを探したいのかで、選ぶ手法がはっきり分かれます。

2. 実際の出題のされ方

状況の説明から、データの種類や分析手法、図表の名前を選ぶ形の問題が数多く出ています。いずれもITパスポートの問題で、ビッグデータを特徴づける3つの要素の総称、個人の行動の記録を表す用語、4つの尺度のうち間隔尺度に当たる例、エンタープライズサーチの説明、データサイエンティストの役割を選ぶ問題があります。一次式で近似できる関係から値を推定する手法、多くの項目を少数の指標に絞る手法、3つの要素を1枚に表す図表を選ぶ問題も出ています。

手法の定義や基盤の特徴の見分けは、応用情報技術者の午前でよく出ます。アソシエーション分析・主成分分析・データマイニングの説明を選ぶ問題と、時系列モデルの記述の正誤を問う問題があります。デシジョンツリーで期待値の大きい施策を選ぶ計算と、協調フィルタリングを使った推薦の例を選ぶ問題もあり、後者はシステムアーキテクトの午前IIでも出題されています。基盤では、データレイクの特徴、Hadoopの説明、特徴の一覧から統計解析や機械学習向けの言語を選ぶ問題、NoSQLに分類されるデータベースを選ぶ問題が出ています。

業務の場面を示して、使う手法や仕組みを選ばせる問題もあります。ITストラテジストの午前IIでは、検診データから発症の確率を推定するモデル、顧客の属性を組み合わせて購入しそうな層を予測する手法、マーケットバスケット分析の説明を選ぶ問題が出ています。システムアーキテクトの午前IIでは、中間のキーと値の組を作ってから集約する2段階の処理モデルの名前が問われています。

分析基盤の部品は、データベーススペシャリストの午前IIで個別に問われます。CEP、スタースキーマで取引のデータを入れるテーブル、Apache Sparkのそれぞれについて説明や名前を選ぶ問題があります。ITサービスマネージャの午前IIでも、JupyterLabの説明を選ぶ問題が出ました。

3. 学習のポイント

分析手法は、予測したい項目（目的変数）があるかどうかと、何を知りたいかで選びます。

• 予測と分類の手法: 予測したい項目が、起きるか起きないかのような2つの値をとるとき、ほかの項目からその起きやすさを確率として見積もるのがロジスティック回帰分析です。決定木分析は、属性の条件で対象を枝分かれさせていき、どの組合せの層がどうなりやすいかを木の形で示します。
• 項目の要約: 主成分分析は、互いに関係のある多くの項目を、もとの情報をなるべく残したまま少数の新しい指標にまとめ直して、項目の数を減らす手法です。
• 一緒に起きる組合せと推薦: アソシエーション分析は、購買の記録などから、一緒に起きやすい組合せの規則を見つけます。規則の良さは、その組合せが全体の中で起きる割合（支持度）、Aが起きたときにBも起きる割合（信頼度）、Bが単独で起きる割合と比べて何倍起きやすいか（リフト値）で確かめます。協調フィルタリングは、多くの利用者の購買や評価の履歴から、好みの似た利用者どうし、または一緒に好まれやすい商品どうしを見つけて勧める方式です。似た顧客が買った商品を勧める例は、利用者どうしの似かたを使う方式に当たります。
• 時系列の予測: 移動平均法は、平均をとる期間を長くするほど細かな上下がならされ、なめらかな動きになります。指数平滑法は、前回の予測に、今回の実績とのずれを一定の割合（平滑化定数）だけ取り込む方法で、この割合を大きくするほど直近の実績に敏感になります。
• 施策の期待値: デシジョンツリーでは、枝の先の結果から根元へ向かって計算します。確率で分かれる点では結果に確率を掛けて足し合わせ、自分で選べる点では大きいほうの値を採ります。

分析を支える基盤は、データをどんな形でためて、どう分けて処理するかで区別します。

• データレイクとデータウェアハウス: データレイクは、使い道を決める前のデータを、表の形に整えずに元の形のままためておく場所です。データウェアハウスは、分析に使う形に整えてから、時間を追って積み上げていく場所です。スタースキーマでは、取引のような出来事を記録するファクトテーブルを中心に置き、顧客や商品、日付のような切り口を表すディメンションテーブルをその周りに並べます。
• 分けて処理する仕組み: MapReduceは、データを小分けにして多くの計算機で同時に処理し、途中の結果をキーごとにまとめてから集計する、2段階の処理の型です。Apache Sparkは、RDDと呼ばれる分散したデータの集まりをメモリ上に置き、変換を次々に重ねていく処理基盤です。

4. 間違えやすいところ

ビッグデータの分析の対象について、文字以外の動画や画像、音声は扱えないとする誤答肢がありました。ビッグデータは、表の形に収まらない画像や音声のようなデータまで含めて分析の対象にします。

分析手法を選ぶ問題では、ABC分析が誤答肢としてよく並びます。ABC分析は、項目を大きさの順に並べて、重点的に管理するものを決めるための手法です。

CEP（複合イベント処理）の説明を選ぶ問題では、多次元のデータベースを作って集計や分析をする方式とする誤答肢がありました。蓄えたデータをあとから多くの切り口で集計するのは、OLAPの考え方です。

JupyterLabの説明を選ぶ問題では、複数の計算機で分散してまとめて処理するバッチの仕組みとする誤答肢がありました。大量のデータを分けて一括で処理するのは、Hadoopのような分散処理の仕組みの役目です。