2. データ分析手法と分析手順
2-7. 欠落項目の対応
1) 顧客データの現状と実態
- A. 商品マスターの膨張:
商品マスターには廃番・過去アイテムも含まれるため、実際に出荷実績のあるアイテム数の2〜3倍の件数が登録されていることが一般的です。分析の精度・処理速度向上のため、可能な限り「対象期間に出荷実績のあったアイテム」分のみを絞り込んで取得します。
- B. 商品寸法・形状データの不備:
現状作業で容積・重量管理を行っていない現場では、マスターの寸法データが未メンテナンス(または未入力・不正確)であることが多いため、そのまま鵜呑みにできません。
- C. 発送先の不一致:
データ上の「受注先」と「実際の納品発送先(配送先)」は必ずしも一致しないため、現場の運用に即した発送先単位での集計が必要です。
- D. 固有表現・特殊取引(出庫が入庫であるケース等):
商品管理部門が一括購入し各センターへ振り分ける際に「出庫」と表記される(実質はセンターへの「入庫」)など、業界・企業固有の慣例的表現が存在します。これらの背景・意味を正しく理解した上でデータクレンジングを行います。
2) 欠落データ・イレギュラーデータのパターン
- A. ゼロ出荷・マイナス出荷データ:
複数荷主間の商品移動、出荷指示後のキャンセル処理、返品データの混入などにより、数量が0やマイナスのレコードが含まれるケース。
- B. 項目は存在するがデータが未入力(Null):
ケース入数や容積・重量データが空欄になっているケース。
- C. 一部データの欠落・入力漏れ:
特定の日時や発送先コード、アイテム区分のみが抜けているケース。
3) 欠落データへの具体的な対応策
- 顧客との打合せによるルール化:
未記入・不整合データの取り扱いルール(例: 平均値補行、特定レコードの除外条件等)を顧客・現場責任者と事前に協議し決定します。
- データの救済と活用:
一部欠落があっても、他の項目から推計可能なデータ(救済できるデータ)は可能な限り加工・補完して分析に使用します。
- 全データ集計値の整合性検証:
除外ルール適用後の集計合計と、元データ全体の集計値(コントロールトータル)を比較検証し、乖離の理由を明確に説明できるようにします。
- クレンジング後の分析実施:
ルールに基づいて整備された「有効分析対象データ」に対して正確な分析処理を行います。