<< 目次へ
最終更新日: 2016.2.20
4.データ整理
データ解析において「データ整理」は非常に重要なタスクです。必ず以下の3つのタスクを実行しましょう。
0.使用するデータ
▼顧客マスタ
顧客ID 性別 年齢 購買ランク マイページ登録 登録ID 0001
0012
0172
0199男性
男性
女性
男性25
38
20
20ゴールド
ノーマル
ノーマル
シルバー有
有
無
有19928901
22309980
30003119
▼商品マスタ
商品ID 商品名 商品カテゴリ(大分類) 定価 A145
A226
A398
B665元気パン
モリモリ弁当
レッドホットサンド
天然りんごジュース食品
食品
食品
飲料100
450
230
90
▼POSデータ
顧客ID 購買日 商品名 点数 レジNo 0001
0001
0001
0001
0001
0001
0172
0172
01992012/3/4
2012/3/4
2013/5/10
2016/1/23
2016/1/23
2016/1/23
2015/10/10
2016/2/9
2015/2/9元気パン
天然りんごジュース
元気パン
元気パン
天然りんごジュース
モリモリ弁当
レッドホットサンド
天然りんごジュース
元気パン1
1
2
1
1
1
2
5
20012
0012
0002
0125
0125
0226
0009
0221
0222
▼アクセスログデータ
顧客ID アクセス日 閲覧ページ 0001
0001
0001
0012
00122012/3/4 16:33:24
2012/3/4 16:33:27
2012/3/4 16:33:40
2015/5/9 12:56:01
2015/9/18 23:45:55http://abc/abcde/
http://abc/abcde/abcdef/
http://abc/
http://zkd/ddeg/
http://zkd/ddeg/
1.ファイルリスト
分析に用いるデータファイルについて、以下のようにまとめておくと便利です。ファイル名は必ずしも分かりやすい名前がついているとは限らないので、そのファイルが何であるかが一目で分かりように内容を書いておくことが大切です(全く内容とは関係のないファイル名であることもあります。本来望ましくないですが。)。またファイルサイズ、レコード数、列数(下表の記載数値はデタラメ)は基礎情報として必ず明記しておきましょう。また、これ以外にも必要な情報があれば簡単に備考へ記入しておきます。
番号 | ファイル名 | 内容 | ファイルサイズ | レコード数 | 列数 | 備考 |
1 | custemer.csv | 顧客マスタ | 50M | 530,023 | 6 | |
2 | itemlist.csv | 商品マスタ | 20M | 156 | 4 | |
3 | trans.csv | 購買履歴(POS) | 1.5G | 1,325,058 | 5 | 2012/1/1〜2016/2/10までの購買履歴 |
4 | dat2012-15.csv | アクセスログ | 3.0G | 3,127,136 | 3 | 2012/1/1〜2016/2/10までのアクセスログ(会員のみ) |
2.変数リスト
全データファイルの変数リストを横に並べ、結合キー(紐付キー)を同色で塗り分けておくと分かりやすいです。 →結合キーについてはこちらのページを参照
3.変数の加工仕様リストの作成
全てのファイルに含まれる変数を縦に並べることで、変数リストとしての機能を担います。さらにデータ形式と変数の型を記入し、どのようにデータを加工するかの仕様を簡単に書いておきます。
連番 | 連番2 | ファイル | 変数 | 形式 | 型 | 加工仕様 |
1 | 1 | custemer.csv | 顧客ID | M | factor | |
2 | 2 | custemer.csv | 性別 | M | factor | |
3 | 3 | custemer.csv | 年齢 | M | numeric | |
4 | 4 | custemer.csv | 購買ランク | M | factor | |
5 | 5 | custemer.csv | マイページ登録 | M | factor | |
6 | 6 | custemer.csv | 登録ID | M | factor | |
7 | 1 | itemlist.csv | 商品ID | M | factor | |
8 | 2 | itemlist.csv | 商品名 | M | factor | |
9 | 3 | itemlist.csv | 商品カテゴリ(大分類) | M | factor | |
10 | 4 | itemlist.csv | 定価 | M | numeric | |
11 | 1 | trans.csv | 顧客ID | Tr | factor | |
12 | 2 | trans.csv | 購買日 | Tr | factor | 最新購買日からの経過日数を計算 |
13 | 3 | trans.csv | 商品名 | Tr | factor | |
14 | 4 | trans.csv | 点数 | Tr | numeric | 顧客ごとに購買点数の合計を計算 |
15 | 5 | trans.csv | レジNo | Tr | factor | |
16 | 1 | dat2012-15.csv | 顧客ID | Tr | factor | アクセス有無をフラグデータとして用意 |
17 | 2 | dat2012-15.csv | アクセス日 | Tr | factor | アクセス日数を計算 |
18 | 3 | dat2012-15.csv | 閲覧ページ | Tr | factor | ページ閲覧有無のフラグデータと閲覧ページ種数を計算 |