魏翔：大数据和名专家有多“糟糕”?

　　死人不会说话

　　1941年，第二次世界大战正打得如火如荼。有一天，美国哥伦比亚大学著名统计学家沃德教授(Abraham Wald) 遇到了一个意外的访客，那是英国皇家空军的作战指挥官。他说：「沃德教授，请协助我们改善这个攸关飞行员生死的难题吧!」 。沃德发现，机翼是最容易被击中的部位，而飞行员的座舱与机尾，则是最少被击中的部位。

　　但在研究成果报告的会议上，却发生一场激辩。

　　作战指挥官说：“沃德教授的研究清楚地显示，联军轰炸机的机翼，弹孔密密麻麻，最容易中弹。因此，我们应该加强机翼的装甲” 。　沃德客气但坚定地说：“将军，我尊敬你在飞行上的专业， 但我有完全不同的看法，我建议加强飞行员座舱与机尾发动机部位的装甲，因为那儿最少发现弹孔”。在全场错愕怀疑的眼光中，沃德解释说：“我所分析的样本中，只包含顺利返回基地 的轰炸机。我认为飞机很少发现弹着点的部位，并非真的不会中弹， 而是一旦中弹，根本就无法返航。”

　　指挥官反驳说：“我很佩服沃德教授没有任何飞行经验，就敢做这么大胆的推论，就我个人而言，过 去在执行任务时，也曾多次机翼中弹严重受创，要不是我飞行技术老到，运气也不错，早就机毁人亡了，所以，我依然强烈主张应该加强机翼的装甲。”

　　这两种意见僵持不下，皇家空军部部长决定接受沃德的建议。不久之后，联军轰炸机被击落的比例，果然显著降低。为了确认决策的正确性，一段时间后，英国军方动用了敌后工作人员，搜集了部份坠毁在德国境内的联军飞机残骸，他们中弹的部位，果真如沃德所预料，主要集中在驾驶舱与发动机的位置。

　　看不见的弹痕最致命!!!

　　【插播：跨学科知识的作用大，西方对知识的尊重具有战略价值。类似的例子-本尼迪克特、冯友兰】

　　幸存者偏差：南辕北辙的大数据分析

　　幸存者偏差(Survivorship bias),是一种常见的逻辑谬误，意思是只能看到经过某种筛选而产生的结果，而没有意识到筛选的过程，因此忽略了被筛选掉的关键信息。

　　无法观测到的信息也许正是决定性的信息，而我们越是凝视于可得到的信息，就离真相越远。看似非常科学和严谨的“大数据分析”，如果遗漏的正好是“沉默的数据”“死人不会说话的数据”，那么，数据越大，就离真相越远。你百度、你携程，你阿里巴巴的大数据分析，都是那些使用过你的客户的材料，都是那些“返航的战斗机”的数据，而那些不选择你、一次都不选择你的“被击落的战斗机”的数据你一个都没有，这样的大数据分析就冒着极大的“南辕北辙”的分析。这就是“Garbage In, GarbageOut”：前提若是错误，再漂亮的统计、再多的资料，也不能让后面的结论变得正确。

　　启迪和对策：“成功”的猴子

　　我雇佣了600只猴子，给他们两个按钮，一个买，一个卖，让他们每天随机乱按地买股票——每月检查一次猴子们的收益，将赔本的那一半剔除掉。第二月我还有300只猴子，第三月150只，第四月75只…..第十月剩下5只。他们连续十个月盈利，超过了任何一个人类交易员。接下来，记者对5只猴子疯狂采访，对他们宗教信仰，生活方式，饮食结构，作息规律，哦对，还有按下按钮的规律，甚至和他们相关的一切进行“大数据分析”，他们最终成为“世界上最成功的金融猴王”，他们的“成功经历”被写成畅销书《猴子巴菲特，你学不会!》,“成功的猴子”在各个财富论坛预世界经济形势，并被投资者追捧。

　　这5只猴子是“幸运者”还是“成功者”我们一目了然，但是，如果你看不到过程，只看到结果;只知道这5只猴子，根本不知道那“被击落”的595只猴子，你还能一目了然吗?

　　5只猴子是幸运的，能都理解他们为什么幸运的我们，也是幸运的，因为它至少给我们如下启迪：

　　(1)做人比做学问更重要

　　猴子的故事告诉我们，不是说成功都一定靠运气，而是因为“幸存者偏差”的存在，使后来者极大低估了运气在成功中所占的比重。几乎所有人都相信“勤奋学习”“勤奋地学习成功者的经验”就会离成功更近一些，相信成功经验的大数据，一定比个案更靠谱。而实际上，100年前的中国，毛泽东这样的人至少有100个，但即便是同样的100个毛泽东，能成为共和国开创者的，只有也只能是一个。

　　“成功的因素是环境造就，而往往非个人能力决定成功”。这句话是对的，然而，也并不能推论说，不努力就可以成功。真相是，依靠勤奋和模仿，获得成功，那是小概率事件。要想增加这个概率，应该去适应和改变环境。环境，就是那些孕育了很多“被击落的飞机”，也造就了那些“成功返航的飞机”的条件。如果做学问的目的是为了“成功”(请允许我们功利地设定了这样一个目标)，那么，做人，去适应和改造制度和环境，就比单纯滴勤奋和模仿，更能靠近成功。

　　我们并不需要知道返航的飞机身上有多少弹孔，而是要知道他们得以返航的过程和原因。从这个角度看，成功者就是那些“成功的猴子”，他们的“成功经验”恰恰是你“失败的根源”，正如，如果你真的学习到返航飞机的“经验教训”，加固了机翼而不是驾驶舱，那么，你只会死得更快。何况，返航的飞机自己也不知道，被击中驾驶舱到底有多危险，他又怎么教会你“幸存的秘诀”呢?

　　(2)大数据、个数据、死数据，都会说话

　　第一，搜集更多资料，并不见得能提高预测的能力。由于弹痕资料的来源本身就有严重的偏误，努力搜集更多这样的资料，并不会系统性提高分析的质量。相反，搜集到那些被击落飞机的“个数据”“死数据”，才是问题的关键。

　　大数据只是对“幸存者”的规律总结，它对预测“如何能幸存得更好”具有参考价值，但却对“如何能不死”知之甚少，这时候，我们要么需要对大数据做“反向质疑”，要么，需要搜集到更多的“个数据[1]”和“死数据”。

　　第二，更多的专家学者、更多的大数据经验、更多的成功人士，并不能确保决策质量和预测质量，尤其是对那些生死存亡、利益攸关的大规划、大问题。

　　正如上述例子中的“作战指挥官”。他的成功经验和数据分析告诉他，机翼最容易被击中，而驾驶舱则根本没可能被击中(其实是，如果被击中，也就轮不到他来发表什么成功经验了)，所以，作为专家，他的意见仅仅是“幸存者偏见”。

　　在我们做重大项目、重大规划的可行性研讨时，专家和领导的辅助实施意见固然可贵，但出于幸存者偏见的作用，无论是专家，还是领导，他们看到和研究的都是“返航的飞机”，研讨会上，他们的意见“越正确”，实施后就可能“越危险”。

　　当我们的很多领导在事后怪罪和讽刺“专家无能”“清谈误国”时，是否想到那名采纳沃德教授意见的皇家空军部部长。他最终选择了“没有任何飞行经验”的沃德教授的意见，而放弃了身经百战、浴血而归的战斗专家的意见。

　　做决策时，不能否认专家的作用，但作为“皇家空军部部长”如果知道如何破解“幸存者偏见”，就是专家之专家了。

　　[1]“个数据”是指那些单个的数据，但却能一票否决，压倒大数据的个案数据。典型的例子来自心理学家施瓦茨的例子：一个人去买奥迪车，销售员根据他的个人消费大数据和上万人购买奥迪车的大数据分析，给他建议了一款非常适合他的奥迪车。他非常满意!但是，回家后碰上了他的表哥。表哥说，上月我刚买了部同款的奥迪车，糟糕透了，火花塞已经换了两次了，我建议你还是考虑下沃尔沃吧。于是，他放弃了购买奥迪车的决定。“一句顶一万句”，个数据战胜大数据的例子，在现实中比比皆是。

　　(文章为作者独立观点，不代表迈点网立场。转载请注明出处及作者。)