Lec 1 数据洪流与 CRISP-DM 方法论（Looking to Data for Answers）

对应 MIT CTL.SC4x · Supply Chain Technology and Systems · 第 1 讲
核心参考：SC4x Key Concept Document (Summer 2019) & MITx MicroMasters SCM 课程大纲

TL;DR

• 现代供应链从经验驱动转向数据驱动，数据爆炸与脏数据、数据孤岛构成企业核心痛点。
• CRISP-DM 提供跨行业数据挖掘标准流程：商业理解、数据理解、数据准备、建模、评估与部署六大闭环。
• 商业理解是决定数据分析成败的前提，严禁脱离供应链业务痛点盲目调用算法模型。

1. 为什么供应链需要"技术与系统"这门课

前四门课（SC1x-SC3x）讲的是供应链管理的分析框架：

• 网络设计
• 库存模型
• 系统动力学
• 风险管理。

SC4x 换了一个角度——这些分析背后都要靠数据支撑，而数据要靠系统（数据库、ERP、WMS/TMS）来采集、存储、流转。这门课的知识链条是：

数据从哪来、怎么变大  →  怎么建模存储（数据库）  →  怎么查询取用（SQL）
   →  怎么从中挖掘规律（机器学习）  →  怎么用企业系统跑起来（ERP/APS/TMS/WMS）
   →  怎么选型实施这些系统  →  怎么让全链路可见（Visibility）  →  怎么用机器替代人（自动化）

Lec1 是整条链的起点：数据为什么变得如此重要，以及面对一堆杂乱数据时，应该按什么流程去分析它。

2. 数据爆炸的现实背景

供应链的运转速度越来越快，技术与系统是支撑这种"快"的基础设施。近年信息量呈爆炸式增长，教材给出的直观例子：

• Amazon：向 2.44 亿用户销售 4.8 亿种独立商品（SKU）；
• UPS：每天向 840 万个收件点投递 2000 万个包裹。

这些数据来自多个源头：企业内部交易系统、传感器、"物联网"（IoT）、以及日益增多的合规监管要求。这一切统称为 "大数据"（Big Data）挑战。

关键认知：

• 数据是脏的（messy）——需要清洗和编程处理，不能拿来就用；
• 数据经常困在数据孤岛里，来源分散，难以整合；
• 数据体量巨大且还在持续增长——大家熟悉的电子表格（Excel）工具已经无法承载这个量级，必须换用数据库、编程语言等更专业的工具。

这也是为什么这门课接下来要花大量篇幅讲数据库和 SQL：电子表格思维要升级为数据库思维。

3. CRISP-DM：数据挖掘的跨行业标准流程

CRISP-DM（Cross Industry Standard Process for Data Mining，跨行业数据挖掘标准流程）是一套业务视角出发、行业无关的框架，用来指导"拿数据解决实际业务问题"这类项目该怎么按步骤推进。它由多家机构协作开发，目的是提供一个普适、可复用的项目规划指南。

3.1 六个步骤

步骤	内容
① Business Understanding（业务理解）	从业务角度搞清楚项目目标，把业务目标"翻译"成可以被技术手段研究的具体问题
② Data Understanding（数据理解）	查看现有数据：记录的类型、数据量、是否存在数据质量问题
③ Data Preparation（数据准备）	构建最终分析所需数据集的一切工作：清洗、连接（join）、转换
④ Modeling（建模）	选择并校准不同的模型，从数据中提炼洞察
⑤ Evaluation（评估）	严格审查模型的构建方式、假设条件和输出结果，确认它确实抓住了业务规则、回答了业务问题
⑥ Deployment（部署）	把分析结果带回企业，付诸行动。部署形式因项目和现有技术条件而异

3.2 流程不是线性的，而是有反复和内循环

典型项目从 Business Understanding 起步，进入 Data Understanding——但这两步之间频繁来回：往往在理解数据的过程中，会发现最初的业务问题问得不够准确，需要回头修正。

接下来是 Data Preparation → Modeling，这两步之间同样常有反复（准备好的数据不适合模型，要回头重新加工）。

模型选定后进入 Evaluation；评估通过则进入 Deployment；评估不通过，则打回从头再来（甚至可能退回到 Business Understanding 重新定义问题）。

一句话理解 CRISP-DM 的精髓：这不是瀑布流程，而是一个允许在任意相邻步骤之间来回拉扯、并可能整体推倒重来的迭代循环。

3.3 适用边界

• CRISP-DM 是行业中立、应用中立的框架，具有普适参考价值；
• 但不是所有项目都严格遵循它——它更多是一个具有代表性的思维模板，而不是必须逐条打卡的强制流程。

4. 本讲小结与学习目标回顾

• 供应链数据正以前所未有的速度和体量增长（"大数据"挑战），传统工具（电子表格）已难以胜任，这是本课后续讲数据库/SQL/机器学习的根本动因。
• CRISP-DM 提供了一个可作为参照的通用工作流指南，帮助规划"从数据到答案"的项目。
• 该框架行业与应用无关，具有代表性但非强制。
• 框架包含六个基本步骤（Business Understanding → Data Understanding → Data Preparation → Modeling → Evaluation → Deployment）。
• 六步之间存在大量往返（back-and-forth）与回到起点的内循环，而非单向线性推进。

下一讲（Lec 2）：CRISP-DM 的 Data Preparation / Modeling 阶段离不开一个扎实的数据库设计——进入数据建模（Data Modeling）：关系模型、实体属性、ER 图与键的设计。