学点统计学：轻松识破一本正经的胡说八道
# 学点统计学：轻松识破一本正经的胡说八道
如今，我们被数据包围。
人们习惯了用数据说话：小到防治疾病、理财投资，大到规划公司经营战略，乃至于制定国家宏观政策，都需要用统计学分析数据，建立模型，以形成决策的依据。
有时，数据可以帮助我们评估相互竞争的观点，做出良好的选择。
其他时候，我们被数据欺骗，做出糟糕的选择，导致昂贵甚至灾难性的后果。
有些人是误用了统计学，得出了错误的结论；有些人则是故意用错了统计学，得出了自己想要的结论。
美国幽默作家马克・吐温，就曾在《我的自传》中引述了本杰明・迪斯雷利的说法，世界上有三种谎言：谎言、该死的谎言、统计数字。
# 关于本书
本书脱胎于耶鲁大学两度获得教学奖的热门公开课，是一本关于统计学的防骗指南，帮助读者破除对数据的迷信，学会基本的统计学常识，从而具备起码的辨别力。
作者从统计学的基本原理出发，全面介绍了各种统计误区，用鲜活的例子配上专业的解释，戳破那些数据包装出的 “骗局”，例如久负盛名的《魔鬼经济学》《追求卓越》等超级畅销书背后的弥天大谎。
本书告诫我们要对耸人听闻的观点保持警惕，不要轻易否定我们的直觉和常识。
# 关于作者
加里・史密斯（Gary Smith），美国著名统计学者，耶鲁大学经济学博士，曾在耶鲁大学任教 7 年。
# 本书结构
本书分为 19 章，前面 18 章中，每章针对一种常见的统计学错误，并解释原因，最后一章则是总结。
接下来，我就会介绍书中提到的几条基本统计学原则，相信能帮你识破一些生活中常见的误区和骗局。
# 1. 模式、模式、模式
乌云常常是降雨的前奏，灌木丛中的声音可能是捕食者发出的，毛发质量是繁殖力的象征......
一些远古祖先可以通过这些模式识别更好地寻找食物和水源，发现危险，生存下来的可能性更高。
而那些不太擅长模式识别，因而不太容易生存和繁衍的个体，将基因传下来的可能性要小一些。
通过无数代自然选择，我们形成了寻找模式并对其做出解释的内在倾向——乌云会带来降雨，捕食者会发出声音，繁殖力强的成年人拥有漂亮的毛发。
我们生来倾向于以某种方式理解周围的世界——发现模式，并且编造出解释这些模式的理论。
但到了如今，这种技能不太适应现代生活，因为我们面对的数据太复杂了。
我们很容易被模式以及解释模式的理论所引诱，紧盯着支持这种理论的数据，忽视与之相矛盾的证据。
我们在内心深处希望理解这个世界，因此很容易受到各种统计性骗局的蒙蔽。
即使是那些受教育程度很高、应当具有冷静头脑的科学家，也很容易受到模式的诱惑。
在残酷的学术研究领域，聪明好胜的科学家一直在追求名誉和资助，以维持他们的事业。这种必要的支持是由他们在同行评议期刊中发表的成果决定的。 “无论文，不生存” 是大学生活中的一个残酷现实。
有时，在巨大的压力面前，研究人员甚至会撒谎和作弊，以实现个人的职业发展。
为了生存，他们需要得到能够发表的结果，但他们的实验结果并不符合预期，这使他们感到沮丧；
此外，他们还会担心其他人抢先发表类似的结果。因此，这些研究人员有时会对实验数据做手脚。
毕竟，如果你相信你的理论是正确的，那么编造出证明这种理论的数据又有什么关系呢？
所以，我们应该始终保持怀疑的态度。相关、趋势和其他模式本身无法证明任何事情。
如果没有合理的解释，任何模式都仅仅是一种模式而已。每一种合理的理论都应该接受新数据的检验。
# 2. 幸存者偏差
幸存者偏差可能是最常见、最为人所知的统计学错误了。
这个概念最早来源于第二次世界大战，当时美军对返航的战斗机进行的弹痕分析，发现机翼部分中弹较为密集，而机身和机尾部分则中弹较为稀疏，于是美军决定对机翼部分进行加固。
但后来的事实证明，这是一个错误的决定。因为事实上，机身和机尾部分中弹的飞机大多数都坠毁了，而机翼部分中弹的飞机却能够返航。
所以，美军只看到了那些幸存下来的飞机，而没有意识到那些坠毁的飞机受损部位才是更需要加固的部分。
这是一个很常见的错误，哪怕是如今也不少见，例如 17 年春节前一个刷屏的段子：
一个记者来到火车站台上，随机询问，请问你买到火车票了吗？
一位大妈微微一愣，回答：“买到了”
记者又转向一位年轻人，问：“请问你买到火车票了吗？”
年轻人回答：“买到了”
随后记者又问了 5 个人，大家都回答：“买到了”
最后记者对着镜头说：“今年虽然火车票难买，但是通过采访我们发现，大家都买到了火车票，现在正满怀希望地赶回家乡，过个团圆年！”
类似的案例数不胜数：
甚至还有些错误非常流行。例如畅销书《从优秀到卓越》，记录了一些成功公司的共同特点，销量突破了 400 万部，而且进入了一些史上最佳管理类书籍的排行榜之中。
其作者花了 5 年时间，考察了 1000 多家公司的历史，并针对其中比较优秀的公司进行详细检查，发现了一些共同特点，然后写书发表。
但是，对于伟大公司共同特点的整理，不会包含拥有这些特点但不那么成功甚至已经破产的公司。这本书也陷入了“幸存者偏差”。
书中提到的公司，不少公司在股市上的表现非常平庸，有的则是大跌，有的破产。
我们需要对那些可能存在自选择偏差的数据保持警惕：
- 对于老年人的研究，不会包含中年夭折的人
- 1000 个人抛硬币，一定有一些人可以连续抛出 10 次正面，但是最后被报道的人只会是连续猜中的人，还有一大部分人就被默默忽略了
- 如果有人告诉我们，参与竞争性体育运动的孩子非常自信，我们不应该认为竞争性体育运动可以增强自信。也许，自信的孩子喜欢参与竞争性运动。
- 如果有人告诉我们，华尔街的工作人员很有进取心，我们不应该认为华尔街可以培养进取心。也许，华尔街容易吸引具有进取心的人。
# 3. 变形的图像
图像可以帮助我们解读数据，做出推断。
有用的图像可以准确而一致地显示数据，帮助我们看到倾向、模式、趋势和关系，正所谓“一图胜前言”。
不过，图像也会歪曲数据。直接看两张图：
这是一个公司的收入图。只看图，是不是觉得右侧的图显示，收入在急剧下降？
实际上，这是同一张图，只不过右图的纵轴没有「零点」，所以波动看起来比较大。
1976 年，美国国家科学基金会（NSF）制作了一张图，显示着颁发给美国公民的诺贝尔科学奖（化学、物理、医学）的数量出现了令人震惊的下降。
但只要你看看时间轴（横轴），就会发现前七个时间段都是 10 年，但是最后一个时间段只有 4 年：1971～1974
由于 4 年颁发的诺贝尔奖数量少于 10 年颁发的数量，因此美国国家科学基金会制造了一种幻觉，使人误以为美国人获得的科学奖数量出现了下降。
类似的还有交换纵横轴、甚至省略某个轴，省略数字等... 类似的案例有很多，要注意。
# 4. 混杂因素
一项研究的结论有可能受到混杂因素（其他因素）的干扰。例如：
- 患有胰腺癌的病人比其他病人饮用更多的咖啡——是因为其他许多病人存在溃疡，戒掉了咖啡。
- 对于每个年龄群体，瑞典的女性死亡率都要低于哥斯达黎加，但瑞典拥有更高的女性总体死亡率，为什么？因为瑞典拥有更多的老年女性（老年人拥有相对较高的死亡率）。
- 阿拉斯加航空公司在五个存在竞争的主要机场，拥有优于另一家航空公司的准点运行记录，但其总体准点记录则不如竞争对手，为什么？因为阿拉斯加航空拥有许多飞往西雅图的航班，而西雅图的天气问题经常导致飞机延误。
- 一项医学研究发现，一种手术对于小型和大型肾结石的治疗成功率均高于另一种手术，但其总体成功率却不如另一种手术，为什么？因为它经常被用于治疗大型肾结石（大型肾结石的治疗成功率相对较低）。
发现混杂因素并不总是一件容易的事情，我们应当留意是否存在可能改变结论的混杂因素。
# 5. 均值回归
简单来说，就是现实生活中可能会出现极端现象，但这可能只是运气问题，后续表现通常会向平均值靠拢（也就是回归）。
例如：
- 在一次测试中得到最高分的学生很可能只是运气好，她在第二次测试中的分数很可能更加接近平均分数。得到最低分的学生的能力很可能不像测试分数表现得那样可怜，这名学生很可能会在第二次测试中做出更好的表现。
- 身高很高的父母倾向于拥有矮一些的孩子，身高很高的孩子倾向于拥有矮一些的父母。
- 异常的父母通常拥有不太异常的孩子，异常的孩子通常拥有不太异常的父母。
回归存在于无法通过观测型特点准确反映出来的任何遗传特性之中：身高、体重、智力、足部尺码、头发密度。
当学术能力或运动能力等特点得到不完美测量时，观测到的表现差异会夸大实际能力差异。表现最优秀的人与平均水平的距离很可能不像看上去那样遥远，表现最为糟糕的人也是如此。因此，他们随后的表现将会朝着均值回归。
最成功和最不成功的公司、运动员、员工、雇主和潜在灵魂伴侣也是如此。
不要被成功和失败欺骗，最优秀的人与平均水平的差距很可能不像看上去那么大，最糟糕的人也是同样的道理。
位于极端位置的事物很可能会向均值回归。
# 6. 平均定律（运气守恒）
一种非常不同（同时也极度不正确）的观点是，成功一定会得到失败的平衡（反之亦然），以便使事物整体上呈现平均水平。
他们认为，好事和坏事的供应量是固定的：
- 一名选手在比赛中失误了好几次，但评论员说：每位射手在赛季里都会出现一些失误，在年初将这些失误“用掉”是令人欣喜的。
- 一位读者认为，说他参加了许多工作面试，但是没有收到任何录用通知。他希望录用的可能性能够随着拒绝次数的增加而增加。
- 一个消防讲座上，主讲人说：你们在家里生活了 25 年，从未经历任何类型的火灾。对此，我想说的是，你们过去比较幸运。不过，这意味着你们和下一场火灾的距离不是越来越远，而是越来越近。
- 西弗吉尼亚州最高法院首席法官，曾经开车前往南达科他州参加一场司法会议。他解释道：“在我的一生中，我坐了许多次飞机。我已经用掉了我的统计英里数。只要还有其他可行的替代方案，我是不会坐飞机的。”
- 每次硬币正面朝上都会提高背面朝上的可能性。
- 轮盘赌的每个红色结果都会提高黑色结果的可能性。
这是一种普遍存在的观点，但它是错误的：
- 没有发生火灾并不会提高发生火灾的可能性，它可能仅仅说明房主比较谨慎。
- 每一次安全的飞机旅行并不会提高下次飞机坠毁的可能性。
- 抛硬币连续抛出正面，但下一次抛出正面的概率还是 1/2
因为上述事件都是「独立事件」，不会受到上一次或者前几次结果的影响。
要想改变运气，我们通常需要改变自己的行为。
例如，如果在找工作时不断遭到拒绝，我们应当考虑如何更好地表现自己，或者考虑申请不同的工作。
好运当然不会永远持续，但是不要认为好运会提高噩运的可能性，反之亦然。
# 7. 先射箭后画靶
著名经济学家罗纳德 • 科斯曾说：“如果你对数据拷打足够长的时间，它一定会招供。”
数据聚集现象无处不在，甚至存在于随机数据之中，想要寻找某种解释的人一定会找到一种解释。
因此我们没有必要根据这种现象徒劳地寻找异想天开的解释。
遗憾的是，人们很难抗拒“每一种模式一定有原因”这一想法的诱惑。
一个流行病学家发现，许多癌症受害者的家庭靠近大型输电线，这其实就是一个随机的数据聚集 —— 一个没有射击技能的人用一把枪向谷仓的一面墙射出大量子弹，然后在弹孔最多的位置画上靶心。
要想进行有效的统计检验，研究人员应当首先画出靶子，然后发射子弹——首先论证输电线可能导致癌症的原因，然后比较有输电线和没有输电线的街区发生癌症的频率。
# 8. 缺乏理论的数据仅仅是数据而已
人们总是满怀希望地研究数据，寻找跑赢大盘或中彩票的方法，然后得出一些可笑的理论。
- 一些骗子声称可以预测彩票中奖结果 —— 只需购买它制作的设备即可。如果这是真的，他自己就会购买彩票致富，而不是兜售设备。后来，这些骗子被识破并被判刑。
- 一项研究考察了过去 350 年的英国演讲家，发现平均句子长度从每句 72.2 词下降到了 24.2 词。按照这个速度，每句单词数量将在一百年后达到零点，然后变成负值。
- IBM 公司的股票已经高速增长了 50 年，一些财务分析师根据过去的表现而不是未来的前景，认为购买 IBM 的股票永远不会是错误的决定。实际上，IBM 已经变成了一家大公司，持续增长的空间已经不多了。
- 引人注目的增长速度永远不会停止的投资者在失望中明白了一个道理：你很少能够通过后视镜看到未来。
如果我们足够努力，即使面对随机生成的数据，我们也可以找到某种模式。
不管这种模式多么明显，我们都需要一种合理的理论来解释这种模式。
否则，我们找到的仅仅是巧合而已。
# 9. 缺乏数据的理论仅仅是理论而已
另一个极端是缺乏数据的理论——将半真半假的理论作为事实提出，但却从不用数据对其进行检验。
如果一种理论没有得到可靠数据的检验，那么它仅仅是一种猜测。
对于未来几十年甚至几百年的预测来说，这种现象尤其明显。
福雷斯特是一名电气工程师发明的，他从工程领域转到管理领域后，发明了一些模型来帮助理解与预测系统的演化。
而这个系统，后来放大为了整个世界，他的结论是，世界 1971 年的生活标准也许是这个星球能够承载的最高水平。
他总结道：“从今后 100 年的长期视角来看，发展中国家目前的工业化努力也许是不明智的。”为了维持 1971 年的生活标准，他建议将出生率降低 30%，将粮食产量降低 20%，将自然资源使用量降低 75%。
持有类似观点的人很多，他们的推理具有一丝合理性，但他们并没有考察历史数据，以检验这些数据是否支持他们的理论。他们相信这些理论，所以他们要求我们也相信这些理论。
模型的推理与建立存在着合理性，但问题是禁不住历史数据检验。
要被一项研究说服，那么理论与数据缺一不可，既要通过常识推理的验证，也需要通过未经处理的新数据的检测。
# 最后
书籍内容丰富，有很多奇闻异事，这里就简单列举了一些常见错误和原因分析。
总的来说，作为统计学入门书籍还是可以一看的，非专业人士也可以一看，可以学到不少东西，了解一些有趣的故事。
# 相关书籍
《统计学》，豆瓣 9.2 分，不过比较厚，比较难，更适合作为大学教材之类的，配合老师进行学习
《女士品茶》，豆瓣 8.3 分，统计学入门经典读物，堪称统计学普及领域的《苏菲的世界》，介绍了很多统计学史，能看到那些听过的统计学名词和方法是如何一个一个出现的，但建议有基础的人才去看。
