<< トップページへ

<< 目次へ

最終更新日: 2016.2.20

4.データ整理



データ解析において「データ整理」は非常に重要なタスクです。必ず以下の3つのタスクを実行しましょう。

  1. ファイルリストの作成
  2. 変数リストの作成
  3. 変数の加工仕様リストの作成


0.使用するデータ

▼顧客マスタ
顧客ID 性別 年齢 購買ランク マイページ登録 登録ID
0001
0012
0172
0199
男性
男性
女性
男性
25
38
20
20
ゴールド
ノーマル
ノーマル
シルバー



19928901
22309980

30003119
▼商品マスタ
商品ID 商品名 商品カテゴリ(大分類) 定価
A145
A226
A398
B665
元気パン
モリモリ弁当
レッドホットサンド
天然りんごジュース
食品
食品
食品
飲料
100
450
230
90
▼POSデータ
顧客ID 購買日 商品名 点数 レジNo
0001
0001
0001
0001
0001
0001
0172
0172
0199
2012/3/4
2012/3/4
2013/5/10
2016/1/23
2016/1/23
2016/1/23
2015/10/10
2016/2/9
2015/2/9
元気パン
天然りんごジュース
元気パン
元気パン
天然りんごジュース
モリモリ弁当
レッドホットサンド
天然りんごジュース
元気パン
1
1
2
1
1
1
2
5
2
0012
0012
0002
0125
0125
0226
0009
0221
0222
▼アクセスログデータ
顧客ID アクセス日 閲覧ページ
0001
0001
0001
0012
0012
2012/3/4 16:33:24
2012/3/4 16:33:27
2012/3/4 16:33:40
2015/5/9 12:56:01
2015/9/18 23:45:55
http://abc/abcde/
http://abc/abcde/abcdef/
http://abc/
http://zkd/ddeg/
http://zkd/ddeg/


1.ファイルリスト

分析に用いるデータファイルについて、以下のようにまとめておくと便利です。ファイル名は必ずしも分かりやすい名前がついているとは限らないので、そのファイルが何であるかが一目で分かりように内容を書いておくことが大切です(全く内容とは関係のないファイル名であることもあります。本来望ましくないですが。)。またファイルサイズ、レコード数、列数(下表の記載数値はデタラメ)は基礎情報として必ず明記しておきましょう。また、これ以外にも必要な情報があれば簡単に備考へ記入しておきます。

番号 ファイル名 内容 ファイルサイズ レコード数 列数 備考
1 custemer.csv 顧客マスタ 50M 530,023 6
2 itemlist.csv 商品マスタ 20M 156 4
3 trans.csv 購買履歴(POS) 1.5G 1,325,058 5 2012/1/1〜2016/2/10までの購買履歴
4 dat2012-15.csv アクセスログ 3.0G 3,127,136 3 2012/1/1〜2016/2/10までのアクセスログ(会員のみ)


2.変数リスト

全データファイルの変数リストを横に並べ、結合キー(紐付キー)を同色で塗り分けておくと分かりやすいです。 →結合キーについてはこちらのページを参照


3.変数の加工仕様リストの作成

全てのファイルに含まれる変数を縦に並べることで、変数リストとしての機能を担います。さらにデータ形式と変数の型を記入し、どのようにデータを加工するかの仕様を簡単に書いておきます。

連番 連番2 ファイル 変数 形式 加工仕様
1 1 custemer.csv 顧客ID M factor
2 2 custemer.csv 性別 M factor
3 3 custemer.csv 年齢 M numeric
4 4 custemer.csv 購買ランク M factor
5 5 custemer.csv マイページ登録 M factor
6 6 custemer.csv 登録ID M factor
7 1 itemlist.csv 商品ID M factor
8 2 itemlist.csv 商品名 M factor
9 3 itemlist.csv 商品カテゴリ(大分類) M factor
10 4 itemlist.csv 定価 M numeric
11 1 trans.csv 顧客ID Tr factor
12 2 trans.csv 購買日 Tr factor 最新購買日からの経過日数を計算
13 3 trans.csv 商品名 Tr factor
14 4 trans.csv 点数 Tr numeric 顧客ごとに購買点数の合計を計算
15 5 trans.csv レジNo Tr factor
16 1 dat2012-15.csv 顧客ID Tr factor アクセス有無をフラグデータとして用意
17 2 dat2012-15.csv アクセス日 Tr factor アクセス日数を計算
18 3 dat2012-15.csv 閲覧ページ Tr factor ページ閲覧有無のフラグデータと閲覧ページ種数を計算