04 数据不是资产,是负债

"反正云存储便宜,多存点总没坏处"

数据量: 10TB
存储成本: $230/月 (AWS S3标准存储)

一年: $2,760
五年: $13,800

如果这些数据没有产生价值,
这就是纯粹的浪费。

- 读取成本(每次访问都要钱)
- 传输成本(数据移动都要钱)
- 备份成本(要冗余存储)
- 维护成本(人工管理)

实际成本 = 表面成本 × 3-5倍

"先把数据存下来,以后再清洗"

原始数据: 1TB
清洗后有用: 100GB
清洗耗时: 2个工程师 × 3个月
清洗成本: $30,000+

无效数据占比: 90%
清洗成本是存储成本的10倍+

时间越久,清洗难度越大:

刚收集时:
  - 记得数据来源
  - 记得字段含义
  - 记得收集逻辑

一年后:
  - 不记得从哪来的
  - 不记得字段是什么意思
  - 收集代码已经改了N次

结果: 根本无法清洗,只能扔掉

根据IBM 2024年报告:

平均数据泄露成本: $4.45M (美元)

- 法律诉讼
- 监管罚款(GDPR: 年收入的4%)
- 品牌损失
- 客户流失
- 技术补救

你存的数据越多,
泄露的风险越大,
泄露后的损失越大。

很多数据你根本用不上,
但如果泄露,照样要赔钱。

某创业公司:
  - 存储了用户的身份证照片(实际不需要)
  - 数据库被黑
  - 被监管罚款$500K
  - 公司直接倒闭

如果当初不存这些数据,
完全可以避免这个灾难。

GDPR (欧洲):
  - 用户有"被遗忘权"
  - 你必须能删除用户的所有数据
  - 如果做不到,罚款

CCPA (加州):
  - 用户有权知道你存了什么数据
  - 用户有权要求删除
  - 你必须有完善的数据管理系统

国内《个人信息保护法》:
  - 数据收集需明确告知
  - 超范围使用会被罚款
  - 数据泄露要通报

- 法务成本(审核数据收集流程)
- 技术成本(建立数据删除机制)
- 运营成本(处理用户数据请求)

小公司: 至少$50K/年
大公司: 几百万美金/年

数据太多,导致:

问题1: 不知道有哪些数据
  - 数据散落在不同系统
  - 没有统一的数据目录
  - 想用时找不到

问题2: 不知道数据质量
  - 这个字段准确吗?
  - 这个数据最后更新是什么时候?
  - 能不能直接用?

问题3: 不知道数据关系
  - 这两个表能关联吗?
  - 这个指标怎么计算的?
  - 为什么两个系统的数字不一样?

结果:
  - 数据分析师花70%时间在"找数据、理解数据"
  - 只有30%时间在"分析数据"
  - 效率极低

能回答以下问题:

✅ 这个数据能直接用于训练模型吗?
✅ 这个数据能直接用于分析吗?
✅ 这个数据的质量有保证吗?

如果有任何一个答案是"不能",
这个数据就不是资产。

能回答以下问题:

✅ 这个数据竞品能拿到吗?
✅ 这个数据用户会持续产生吗?
✅ 这个数据形成网络效应了吗?

如果竞品也能拿到同样数据,
这个数据就没有竞争优势。

能回答以下问题:

✅ 这个数据让产品变好了吗?
✅ 这个数据增加收入了吗?
✅ 这个数据降低成本了吗?

如果都没有,
这个数据就是垃圾。

资产数据:
  - 用户搜索词
  - 点击行为
  - 停留时间

为什么是资产:
  ✅ 可用性: 直接优化搜索排序
  ✅ 独占性: 只有Google有
  ✅ 价值性: 让搜索结果更准确

飞轮:
  搜索准 → 用户多 → 数据多 → 搜索更准

资产数据:
  - 用户观看记录
  - 暂停/快进行为
  - 评分数据

为什么是资产:
  ✅ 可用性: 直接优化推荐算法
  ✅ 独占性: 只有Netflix有完整数据
  ✅ 价值性: 提高用户留存率

结果:
  - 推荐准确率>80%
  - 用户观看时长增加
  - 会员续费率提高

资产数据:
  - 真实路况的驾驶数据
  - 事故/险情数据
  - 人类司机的接管行为

为什么是资产:
  ✅ 可用性: 训练自动驾驶模型
  ✅ 独占性: 传统车厂没有
  ✅ 价值性: 让自动驾驶更安全

壁垒:
  - 数百万辆车
  - 每天产生几十亿英里的数据
  - 竞品从0开始追不上

存储的数据:
  - 用户所有聊天记录
  - 用户所有照片
  - 用户位置信息

问题:
  ❌ 可用性: 隐私原因,不能用于训练
  ❌ 独占性: 微信/WhatsApp也有
  ❌ 价值性: 不能直接提升产品

结果:
  - 每年存储成本$100万+
  - 安全风险巨大
  - 没有任何价值

正确做法:
  - 只存必要的元数据
  - 聊天记录端到端加密,不存服务器
  - 照片用户自己管理

存储的数据:
  - 用户浏览记录(全部)
  - 用户点击(全部)
  - 用户停留时间(精确到秒)

问题:
  ❌ 颗粒度太细: 大部分数据用不上
  ❌ 清洗成本高: 噪音太多
  ❌ 存储成本高: 每天几TB增长

实际需要:
  - 只需要"下单前7天"的行为数据
  - 只需要采样(不是全量)
  - 只需要关键行为节点

如果早知道,可以节省80%成本

在收集任何数据前,问:

"我收集这个数据是为了什么?"

如果答案是:
  ❌ "可能以后有用"
  ❌ "反正存储便宜"
  ❌ "其他公司都在收集"

不要收集。

如果答案是:
  ✅ "用于优化XX功能"
  ✅ "用于训练XX模型"
  ✅ "用于计算XX指标"

可以收集,但要明确用途。

只收集必需的数据,不多也不少。

例子:
  场景: 用户注册

  必需数据:
    ✅ 邮箱(用于登录)
    ✅ 密码(加密存储)

  不必需:
    ❌ 真实姓名(除非业务必需)
    ❌ 性别(除非有个性化需求)
    ❌ 生日(除非有年龄验证需求)
    ❌ 地址(除非有配送需求)

能不收就不收。

设计数据生命周期:

例子:
  - 日志数据: 保留30天
  - 分析数据: 保留90天
  - 核心业务数据: 永久保留
  - 用户行为数据: 6个月后删除

自动化清理,不要手动管理。

100万条高质量数据 > 1亿条低质量数据

1. 准确性
   - 没有错误
   - 没有缺失
   - 没有异常值

2. 一致性
   - 格式统一
   - 定义清晰
   - 版本可追溯

3. 时效性
   - 实时或准实时
   - 不是几个月前的老数据

4. 完整性
   - 关键字段都有
   - 不是只有部分数据

5. 可解释性
   - 知道数据来源
   - 知道收集方式
   - 知道字段含义

方法1: 收集时校验
  - 格式校验(邮箱、手机号等)
  - 范围校验(年龄0-150)
  - 逻辑校验(开始时间<结束时间)

方法2: 存储时清洗
  - 去重
  - 标准化(统一格式)
  - 补全(填充缺失值)

方法3: 使用时验证
  - 抽样检查
  - 异常检测
  - 人工审核(关键数据)

方法4: 反馈闭环
  - 数据用于模型 → 模型效果不好 → 反查数据质量问题 → 优化收集流程

用户使用 → 产生数据 → 优化产品 → 吸引用户 → 更多数据

这个循环转起来,形成复利效应。

错误设计:
  收集数据 → 存起来 → (然后呢?)

正确设计:
  收集数据 → 训练模型 → 产品变好 → 用户增加 → 收集更多数据

错误设计:
  数据收集 → 人工导出 → 人工清洗 → 人工训练

正确设计:
  数据收集 → 自动清洗 → 自动训练 → 自动部署

团队能看到:
  - 这周收集了多少数据?
  - 数据质量如何?
  - 模型效果提升了吗?
  - 用户体验变好了吗?

如果看不到,飞轮就转不起来。

用户听歌
  ↓
收集: 播放、跳过、重复、加入歌单
  ↓
训练: 推荐算法
  ↓
推荐更准确
  ↓
用户听得更多
  ↓
回到第1步

结果:
  - 用户越用越离不开
  - 推荐越来越准
  - 竞品追不上

大厂收集,不代表你也需要。

理由:
  1. 大厂有数据团队,你没有
  2. 大厂有算力,你没有
  3. 大厂有应用场景,你可能没有

不要盲目模仿,
要基于自己的业务需求。

现实:
  - 高质量标注数据1万条,
    胜过无标注数据1000万条

  - 垂直场景数据10万条,
    胜过通用数据1亿条

关键不是量,是质量和相关性。

OpenAI训练GPT:
  - 用的是精选的高质量文本
  - 而不是全网爬取

如果用全网数据(包括垃圾内容),
模型反而会变差。

less is more

这是最大的陷阱。

现实:
  - 90%"以后再用"的数据,
    永远不会用

  - 等你想用时,
    数据已经过时或无法清洗

正确做法:
  - 现在就想清楚用途
  - 没有用途,就不存

过期数据是负债,必须删。

例子:
  - 3年前的用户行为数据
  - 已经下线功能的日志
  - 流失用户的个人信息

保留它们:
  ❌ 没有价值(用户行为已经变化)
  ❌ 有成本(存储+安全风险)
  ❌ 有风险(泄露要担责)

设置自动清理规则,
定期删除过期数据。

列出:
  - 我们存了哪些数据?
  - 在哪里存?
  - 存了多久?
  - 数据量多大?

对每类数据,问:
  - 过去3个月,用过吗?
  - 未来3个月,会用吗?
  - 能让产品变好吗?
  - 能增加收入吗?

资产级数据:
  → 优化质量,加强使用

中性数据:
  → 设置过期时间,到期删除

负债级数据:
  → 立即删除

数据名称: ___________
收集目的: ___________
使用场景: ___________
质量要求: ___________
保留时长: ___________
负责团队: ___________
评估周期: 每季度一次

如果3个月未使用,自动删除。

1. 默认不收集
   - 除非有明确用途

2. 默认删除
   - 除非有理由保留

3. 透明化
   - 数据收集告知用户
   - 数据使用可追溯

4. 最小权限
   - 只有需要的人能访问
   - 访问行为可审计