非構造化データを構造化する加工とはどの事例か
基本情報技術者試験 令和6年度 問15 ／ 企業活動 › 業務分析・データ利活用
過去問にチャレンジ
ビッグデータ分析の前段階として，非構造化データを構造化データに加工する処理を記述している事例はどれか。
- ア
関係データベースに蓄積された大量の財務データから必要な条件に合致するデータを抽出し，利用者が扱いやすい表計算ソフトウェアデータに加工する。
- イ
個人情報を含むビッグデータを更に利活用するために，特定の個人を識別することができないように匿名化加工する。
- ウ
住所データ項目の中にある，“ヶ”と“が”の混在や，丁番地の表記不統一を，標準化された表記へ統一するために加工する。
- エ
ソーシャルメディアの口コミを機械学習によって単語ごとに分解し，要約を作り，分析可能なデータに加工し，関係データベースに保管する。
会話形式の解説
講師この問題では、非構造化データを構造化データに加工している事例を選びます。選択肢ごとに、加工する前と後のデータがそれぞれどちらの種類なのかを確かめるのがポイントです。
受験者どの選択肢もデータを加工しているので、全部それらしく見えてしまいます。そもそも構造化データとはどういうものですか。
講師構造化データは、あらかじめ決めた形式や項目に従って格納されたデータです。関係データベースや表計算ソフトのデータが代表例です。非構造化データはその反対で、文章・画像・動画・音声のように決まった形式を持たないデータを指します。
受験者そうすると、関係データベースの財務データを抽出して表計算ソフトのデータにする事例は、元も加工後も構造化データということですか。
講師そのとおりです。構造化から構造化への加工なので、問われている処理にはあたりません。
受験者個人を識別できないように匿名化する事例はどうでしょうか。加工はしていますが、目的が違う気がします。
講師よい着眼点です。匿名化の目的はプライバシーの保護です。変わるのはデータの内容だけで、構造化か非構造化かという形式の種別は変わりません。
受験者住所の「ヶ」と「が」の混在や丁番地の表記をそろえる事例は、データを整える処理なので正解に近いように思えました。
講師これはデータクレンジング、つまりデータの誤りや表記ゆれを直して品質を高める処理です。住所データは項目が決まった構造化データで、加工した後も構造化データのままです。形式を変える処理ではないので外れます。
受験者残るのはソーシャルメディアの口コミの事例です。口コミは自由に書かれた文章なので、非構造化データですね。
講師はい。それを機械学習で単語ごとに分解して要約し、分析できる形にして関係データベースに保管しています。非構造化データから構造化データへの変換なので、これが正解です。
受験者加工する前のデータに決まった形式があったかどうかを見れば、区別できるということですね。
講師そうです。抽出や表記統一もデータを加工する処理ですが、元のデータがすでに構造化されているため該当しません。なお、JSONやXMLのように形式はあっても中身を柔軟に書けるデータは、半構造化データと呼ばれます。あわせて覚えておくと役立ちます。
まとめ
この問題は、ビッグデータ分析の前段階で非構造化データを構造化データに加工している事例を選ぶものです。正解は、自由文であるソーシャルメディアの口コミを単語に分解・要約し、関係データベースに保管する事例です。関係データベースからの抽出や住所の表記統一は、元のデータがすでに構造化されているため該当しません。匿名化は内容を変える処理で、データの形式の種別は変わりません。加工する前のデータに決まった形式があったかを確認すると見分けやすくなります。
解答・解説
正解はエです
この問題のテーマ
ビッグデータ分析の前処理のうち、「非構造化データを構造化データに加工する」処理にあたる事例を見分ける問題です。構造化データと非構造化データの違いを理解しているかが問われます。
解き方の考え方
選択肢ごとに、加工する前のデータと加工した後のデータがそれぞれ構造化か非構造化かを確かめます。決まった形式を持たない文章・画像・音声などが元データで、加工後に項目の決まった表やデータベースに収まっていれば、それが該当する事例です。元データがもともと構造化されているものや、データの形式を変えずに内容だけを変える処理は外れます。
選択肢ごとの解説
- ×ア 関係データベースに蓄積された大量の財務データから必要な条件に合致するデータを抽出し，利用者が扱いやすい表計算ソフトウェアデータに加工する。関係データベースの財務データを抽出して表計算ソフトのデータにする事例です。関係データベースのデータは元から構造化データで、表計算ソフトのデータも構造化データです。つまり構造化から構造化への加工なので、問われている処理にはあたりません。
- ×イ 個人情報を含むビッグデータを更に利活用するために，特定の個人を識別することができないように匿名化加工する。個人を識別できないようにする匿名化加工の事例です。目的はプライバシーの保護です。匿名化で変わるのはデータの内容だけで、構造化か非構造化かという形式の種別は変わりません。
- ×ウ 住所データ項目の中にある，“ヶ”と“が”の混在や，丁番地の表記不統一を，標準化された表記へ統一するために加工する。住所の「ヶ」と「が」の混在や、丁番地の表記ゆれをそろえる処理で、データクレンジング（標準化）にあたります。住所データは項目が決まった構造化データで、加工した後も構造化データのままです。データの品質を高める処理であり、構造化への変換ではありません。
- ○エ ソーシャルメディアの口コミを機械学習によって単語ごとに分解し，要約を作り，分析可能なデータに加工し，関係データベースに保管する。ソーシャルメディアの口コミは自由文なので、非構造化データです。機械学習で単語ごとに分解して要約し、分析できる形にして関係データベースに保管しています。非構造化データを構造化データに変換しているので、これが正解です。
補足
ウの表記統一もアの抽出も「分析の前処理」なので、正解のように見えてしまいがちです。迷ったときは「加工する前のデータに決まった形式があったか」を確認すると、見分けやすくなります。なお、JSONやXMLのように形式はあっても中身を柔軟に書けるデータは、半構造化データと呼ばれます。
POINT
- 構造化データとは、あらかじめ決めた形式や項目に従って格納されたデータで、関係データベースや表計算ソフトのデータが代表例です。
- 非構造化データとは、決まった形式を持たない文章・画像・動画・音声などのデータで、ソーシャルメディアの口コミもこれにあたります。
- 自由文から単語や特徴を取り出し、決めた項目に格納すると、構造化データになります。
- 匿名化や表記ゆれの統一は、データの内容や品質を変える処理であり、データの形式の種別は変えません。