“接受不确定性,用概率思维来预测和决策”;“快速行动和迭代,打造‘知行一体’的反馈飞轮”;“探索未知,并利用已知,在攻和守之间进行权衡。”……任何一个人,只要找到并理解贝叶斯定理,借助它找到属于自己的人生算法,就有机会突破命运的局限,实现富足自由的人生。
今天上午,喻颖正老师做客混沌,带来他多年的思考心得和“人生算法”模型,并通过贝叶斯定理来解释和阐述关于商业决策、人生选择背后的底层逻辑。
贝叶斯定理的来源
就像巴菲特所言:“潮水退去,才知道谁在裸泳”。“裸泳”有两层含义:第一层是指某些人的成功大概率是归于运气,而非能力,运气没了,自然所剩无几。第二层是指看起来真正有价值的东西,其实未必真正有价值。
在我看来,贝叶斯定理就是这个世界上最真实的、最有价值的、最接近真理的事物之一。尤其在这个不确定的世界里,真正的高手都是贝叶斯主义者。
数学天才伽罗瓦曾说,“一个作者对读者做的最大的恶就是隐藏难点”。为了帮助大家更好地理解这句话,我先从一个老人和狗的故事开始说起:
有一个人来到一个陌生的小镇,由于他特别想和镇上的人套近乎,于是他走到了广场发现有位老人在晒太阳,而在老人身边,还趴着一条狗。这个人上前问老人,你的狗咬人吗?老人说,不咬人。于是,那个人就摸了一下狗,结果却被狗咬了一口。被咬的人很生气地对老人说,你刚才不是说你的狗不咬人吗!老人说,是的,但这条不是我的狗。
“老人与狗”的故事看似好笑,但其实揭示了一个特别重要的思想,即“相关并非因果”。这一思想最早源自苏格兰哲学家大卫·休谟。休谟认为,“我们对于世上因果关系的认知取决于我们的情绪、习俗和习惯而不是取决于理性,也不是取决于抽象、永恒的自然定律。”换言之,休谟“否定因果”在某种程度上等同于否定了“上帝的存在”。
休谟的惊世言论引来教会对他的敌视。不过,其中有一位修士没有满足于口舌之争,而是试图从数学的角度去证明休谟的理论是错的,这个人就是托马斯·贝叶斯。而贝叶斯的证明方式就是“贝叶斯定理”。
贝叶斯定理的形式
贝叶斯定理简单而言,即人脑存在一个初始认知,后又获得了一项证据,于是认知被更新,进而采取新行动。比如,我背后有一个桌子,我随手往背后扔出一个球,球落下后,你问别人,球与桌子的位置关系是偏左还是偏右?通过提示,不断调试,最终将球精准地扔到桌子上。
从概率学层面来讲,贝叶斯定理涉及几个基本概念:
- 第一个是条件概率。
- 所谓条件概率,是指事件A在另外一个事件B已经发生的条件下发生的概率。比如,一个不透明的袋子中共有七个球,三红、一蓝、三透明。这时,随机从袋中抽出一个球,请问,拿到红色球的概率是多少?答案是3/7。如果再加上一个条件,已知抽到的是有颜色的球,这时抽到的球是红色的概率是多少?答案是3/4。这就是条件概率。
- 第二个是由果推因。
- 比如,我们面前有两个黑盒子A和B,A盒红球多,B盒白球多。然后,我们从里面摸出了一个红色球,请问它是来自于A盒,还是B盒子?大概率我们会认为是A盒。这就是由果推因。
接下来,我们从三个案例来具体感受一下贝叶斯定理的应用。
三个案例看懂贝叶斯定理
案例一:辛普森杀妻案
1994年6月12日深夜,前美式橄榄球运动员O·J·辛普森的妻子妮可·布朗·辛普森和餐馆的侍生郎·高曼死于辛普森的豪宅中。辛普森在芝加哥酒店接到警方通知后,并于次日清早赶回加州。之后,辛普森因涉嫌谋杀被警方逮捕。
在庭审过程中,辛普森花高价请的律师团起到了重大的作用,尤其是一位辩护律师的辩词非常经典,让法官和陪审团都无法反驳。辩护律师是这么说的:辛普森先生有虐待妻子的历史,且美国有400万妻子都曾遭受过虐待,但在这400万人中只有1432人被杀死。按照这个逻辑,辛普森杀死妻子的概率只有1/2500,这是小概率事件,所以辛普森不可能杀死他的妻子。
接下来,我们来拆穿这位律师的“诡计”:
下图大圈是400万被家暴的妻子,中间红色部分是遭受虐待家暴后不幸被丈夫杀害的,共计1432人,比例的确是1/2500。问题出在哪?在于辩护律师犯了一个从贝叶斯定理的角度来看特别严重的错误——误用了条件概率。因为辩护律师用的条件是家暴,用来推测的事件是丈夫杀人,律师漏掉了一个条件,就是现在辛普森的妻子已经遇害了。事实上,被虐待的妻子且不幸遇难的,凶手是老公的概率高达90%。辩护律师完全混淆了条件与要验证的假设。在某种意义上,一个家庭里老公或者老婆出事儿,警察的第一反应就是配偶干的。
通过这个故事,我们就更加理解芒格的一句话,“一位渔夫告诉我,捕鱼成功的关键在于:在有鱼的地方、鱼多的地方去捕鱼。如果看不清楚,那么就另找地方,去你看得清楚的地方钓。”贝叶斯定理特别重要的一点就是先验概率(基础概率)。比如,从空间的角度来说,去鱼多的地方捕鱼。从时间的角度来说,形势比人强。从人群的角度来说,应该跟好人在一起,远离烂人。从指数角度来看,你很难战胜指数基金。从常识角度来看,为什么要遵循常识?什么叫常识?常识在某种意义上来说,就是有比较大的概率能够重复发生的事情,它也是一个基础概率。
案例二:机场行李丢失问题
大家可能也经历过在机场等行李的煎熬,假设是如下状况:行李丢掉(没上飞机)的概率是50%;行李的等候时间为10分钟(并且是均匀的)。那么,你等了5分钟之后,还没看到行李,请问:你的行李没被弄丢的概率是多大?是25%吗?不对。
计算思路如下图所示,事实上,在经历了前五分钟等待且没发现行李之后,这五分钟的可能性已经被观察消除了,这时“可能性”的基数已经变成(25%+50%)。计算结果应该是25%/(25%+50%)=1/3。
事实上,休谟祭出了“两把大刀”,一把挥向科学:我们无从得知因果之间的关系。一把挥向道德:从事实“是”推不出我们“应该”怎样做。换言之,“砍向科学”表达了这样一个观点,“运用归纳法的正当性永远无法从理性上被证明”。最为著名的便是“白天鹅的悖论”。
当休谟把因果斩断之后,就出现了一个巨大的鸿沟,即“确定性的终结”。这时,贝叶斯定理就起到特别重要的作用——搭建一个概率悬梯。或者说,贝叶斯派统计学中的主观性和个人信念,与休谟的观点有着有趣的平行之处。
接下来是第三个案例,搜寻法航447航班。
案例三:搜寻法航447航班
2009年6月1日,法国航空447号航班一架A330-203客机在巴西圣佩德罗和圣保罗岛屿附近坠毁,机上人员全数罹难。飞机坠落之后,很久都没找到,直到后来一个团队通过贝叶斯定理方法解决了这个问题。方法如下:
- 第一步,为失事飞机构建数学模型,在空间上量化;
- 第二步,估算每一个格子的失事概率,偏红代表概率大,偏蓝代表概率小;
- 第三步,找概率最高的格子,如果没找到,重新更新概率;
- 第四步,不断地重复此过程。
下图中B区域概率是50%,因此第一步就搜索该区域。搜索之后不在B区域,但是找不到的可能性有两种:一是的确不在B区域;二是在B区域但是被漏掉了。我们假设漏掉的概率是25%(这也是一个信念),没漏掉的概率是75%。继续搜索了B区域,由此更新的信息是:的确不在B区域的概率是37.5%。还是在B区域但是被漏掉的概率是12.5%。那么,不在B区域的37.5%可能性,就要在ABCD四个区域重新分配,重新分配的基数:30%+12.5%+5%+15%以A区域为例,其因为重新分配那37.5%而增加的概率:30%/(30%+12.5%+5%+15%)*37.5%=0.1于是,更新后A区域的概率:0.3+0.18=0.48这时,A区域的“信念”数值上升为48%,接下来,搜救人员继续搜索A区域,然后一个区域一个区域地去更新。这就是贝叶斯法。
所以,如何用贝叶斯法预测未知?
- 第一步,整合先验知识。找到的各种各样的能够支撑我们理解事情的信息。
- 第二步,建立基于全局的概率模型。就是打格子,在每一个格子里标上可能性的大小。
- 第三步,搜寻概率最高的格子。
- 第四步:根据搜寻结果进行贝叶斯更新;
- 第五步:继续搜寻下一个概率最高的格子。
即使在不确定的情况下,也可以往前走。根据观察和行动去更新我的信念,建立一个可纠错的反馈闭环。最关键的是,这个可纠错的反馈闭环可以不断地重复,一步一步地逼近真相。
……篇幅所限,本文内容仅为课程十分之一,点击海报,观看完整课程!
用好贝叶斯定理的“五把铲子”
第一把铲子:接受不确定性,用概率思维来决策和行动
埃隆·马斯克说过,“我从概率的角度看待未来。未来就像概率这条河流的一个分支,我们可以采取一些行动来影响那些概率,或者加速或者放慢某个事件的进展,或者引入新的东西。”
我们可以通过一个游戏来理解,这个游戏叫“猜概率”。现在,你面前有两个装满大量卡片的盒子,其中一个70%是红色,30%是蓝色;另一个30%是红色,70%是蓝色。现在随机选择了一个盒子并取出了12张卡片:其中有8张是红色,4张是蓝色。请问这些卡片取自第一个盒子的概率是多少?70%、80%、85%、90%,95%?答案大约是97%。
在此我不讨论计算过程,而是要关注这个游戏给我们的启发——与其来回分析,不如直接行动,多取几次卡片。也就是说,“贝叶斯定律的第一把铲子”告诉我们,接受不确定性,用概率思维来决策和行动——少解释,多计算、少讨论,多行动、少后悔,多进步。
以埃隆·马斯克为例。大家都说马斯克是“商业天才”,为什么马斯克如此厉害呢?原因在于他是一个贝叶斯主义者,简单展开讲一讲:
- 第一,马斯克是一个有信仰的人,服从自己的使命。记住,我们要分开信仰和信念。信仰是一定要去火星,而信念是火箭发射成功的概率有多大。
- 第二,马斯克行事尊崇第一性原理和概率优化,最为著名的案例便是SpaceX。
- 第三,就是冒险和用户满意。对此,埃隆·马斯克说过一句话,“我根本就没有想那么复杂,对于用户来说我就是要造最好的车”。
简而言之,作为一个商业天才,埃隆·马斯克一方面知道在一个不确定的世界里面如何运用概率去自我完善、迭代产品;另一方面,他也意识到了概率和物理定律的边界在哪里。
第二把铲子:在对的地方种下信念的种子,同时审视信念的“双重概率”
贝叶斯定理需要一个先验概率,这个先验概率有点像“信念的种子”。其次,还要有“土壤”,如果“土壤”不好,种子也不行。就具体产品而言,产品定位对应的心理账户足够大,才会做得相对够轻松。例如,中国的首富好几次都是农夫山泉的老板,一个重要的原因是中国饮料市场足够大,且包装饮用水占比很高。当然,这并不是说钱多去哪,还是要喜欢且有优势和资源,或者三者至少占一个。
但最关键的是什么?还是信念。信念来自“洞见”和“秘密”。不过,由于信念是可以改变的,所以信念有些时候又是致命的。以我一个朋友为例。他很聪明,公司做得也不错,但后来将手里的现金流全都放到一个项目上,最终全都亏了。我们做的所有决策都有条件概率,我们要算一下这个条件概率的大小,而不能先入为主。就像最开始的故事,狗在老人旁边,就一定是老人的狗吗?
卡尔·萨根曾说过一句话:“非凡的主张需要非凡的证据。”这是对贝叶斯定理一个特别好的描述。类似的话马斯克在某个对话栏目中也提到过,马斯克说:“如何抵御各种心理陷阱?人们往往会试图用各种谬论来算计你。因此,拥有对谬论的防御,将是一门重要课程。”对话嘉宾则表示:“绝对是的,在数字时代这种辨别能力以及对收到的信息保持健康的怀疑态度,对于下一代,几乎算是生存技能了。我完全同意你的观点。”不过,怀疑也不是随便乱猜测。什么叫怀疑?怀疑是在观念前面加上一个概率。
第三把铲子:三行而后思,用观察和行动去不断更新
第三把铲子的原理和ChatGPT的工作原理特别像——与其想半天,不如去试,因为这样成本最低,反馈最快。
贝叶斯定理其实是一个控制证据强度的一个概率法则。首先,要有个毛估的信念,大概七成把握就可以动了;然后,先完成再完美,形成最小化可纠错闭环;最后,利用贝叶斯快速去迭代进化,不断更新去逼近真相。
当我们知道了新的事实或者观察到新的证据的时候就去更新概率,而非抛弃原有的认知。它其实有两种整合作用,一种是把旧的观念和新的证据整合在一起,更新为新信念;还有一种整合就是把想法和行动整合在一起,从而达到“知行合一”。
那么,问题来了,我们如何知晓更多事实?如何观察到更多新证据?答案还是行动,是三行而后思。如下图模型所示,一开始在初始信念中建立一个先验概率;然后大胆行动、获得信息;最后得到了一个后验概率,进而更新信念。更新后的信念会变成下一次的初始信念。这个过程像滚雪球一样。
接下来我们通过一道题来看一下这个循环是如何起作用的:
你面前有2个预测器,每个预测器在晚上会显示“涨”或者“跌”来预测明天股市是涨还是跌.根据历史统计,每个预测器预测的准确率都是0.7,并且预测器之间的预测结果是独立的,今天晚上,2个预测器,都显示“涨”,请问:明天股市涨的概率是多少?
推理如下。两个预测器是两次独立的信息更新,根据这两次更新的信息来推测“后验概率”。由于题目缺先验概率,所以我们可以毛估一下,例如估计上涨的概率在40%-60%之间。为了简便计算,我们假设上涨或下跌的先验概率都是50%。接下来是第二步: a轮预测。第一个预测器预测上涨的准确率是0.7,预测上涨并且实际也上涨的概率是0.5*0.7,即击中率;预测上涨而实际是下跌的概率是0.5* (1-0.7),即误报率;我们要的结果就是【击中率/(击中率+误报率)】所以,可以计算可能上涨的概率 (基于该更新信息的后验概率): (0.5*0.7)[0.5*0.7+0.5* (1-0.7)]得到后验概率70%。最后,叠加(独立)预测。上面得到的后验概率70%,变成了本次贝叶斯更新的先验概率。而第二个预测器的预测上涨,其准确率是0.7,于是预测上涨并且实际也上涨的概率是0.7*0.7,预测上涨而实际上下跌的概率:(1-0.7)(1-0.7) 所以,可以计算可能上涨的概率: (0.7*0.7)(0.7*0.7+(1-0.7) x(1-0.7)=84.48%
为什么要叠加“多维的独立信息”,因为信息过载可能比信息茧房还严重。对此,一位名叫Nate Silver统计学大神说过,当我们拥有“太多信息”时,我们本能地有选择地挑选出我们喜欢的部分,忽略其余部分,并与做出相同选择的人抱团,与其他人为敌。
第四把铲子:连接的力量
贝叶斯定理为什么起作用,一个特别重要的原因在于它和计算机、互联网以及人工智能有特别大的关系,它在某种意义上对应的也是一种分布式智慧。
假设你在《纽约时报》《华尔街日报》《今日美国》《华盛顿邮报》都看到了“外星人已经登陆地球”这条新闻,且这一天不是4月1日,你可能会开始感到慌张。因为从概率学上来讲,4家新闻媒体都出现错误的可能性很小。但如果你查看细节,会发现这四家报社都是从美联社得到这个新闻标题,这是个玩笑,开玩笑的则是一位美联社的记者。
而站在贝叶斯定理角度来看,我们其实可以很轻松地分辨真伪。我们建立几个节点:第1个节点,外星人降临;第2个节点是《美联社》的报道;3、4、5、6个节点则是《纽约时报》《华尔街日报》《今日美国》《华盛顿邮报》的新闻。可以看到,节点3-6的信息源均来自于节点2。因此我们无必要给节点3、4、5、6特别大的权重,因为它们对美联社是100%信任,没有二次筛选。换言之,如果所有的信息源都来自美联社报道,那么不管在节点2之下延伸出多少子节点,也不能作为更多证据来放大外星人降临的可能性。
第五把铲子:贝叶斯定理作为AI的底层逻辑之一
为什么贝叶斯定理可以成为AI的底层逻辑?目前,AI已经实现从符号主义到连接主义的飞跃。所谓符号主义即模仿数理科学的发展方式,将知识系统地整理成公理体系,认为人工智能来源于数理逻辑;而联结主义的基础是神经网络及神经网络间的连接机制与学习算法,认为人工智能来自于对人脑机制的模拟。可以简单地将符号主义理解为归纳与推理,将连接主义理解为神经网络和计算力,两者之间其实并不是非此即彼的关系。
连接主义很像人的神经网络,单个神经元的靠谱度可能只有10%,但整个大脑网络的涌现却能创造智能。所以,老派的AI可以理解为的理性和智能是深度的、多步骤的推理,由一个串行过程指挥,并由一个或几个线程组成,使用少量的信息,由少量的强相关变量来表达信息。现代的 AI则是由浅(少步)推理组成,使用大量信息的大规模并行处理,并涉及大量弱相关变量。
老派AI之所以失败,就在于太想用纯粹逻辑来处理日常的混乱状态,为人工智能需要做的每一个决定都制定一条规则。但是,由于现实世界过于模糊和微妙,无法以刻板的方式进行管理。而现代AI是基于数据驱动、机器学习、深度学习和自我学习,使得如ChatGPT一类的AI具备了更强的智能和适应性,能够更好地理解和生成自然语言,从而提供更准确、流畅和人类化的交互体验。
以AI识别苹果为例。有一本名叫《科学知识》的书是这么说的,苹果很常见,很多人都爱吃,但苹果是什么东西呢?首先,从感官经验的角度,我们可以说苹果是红的、圆的、甜的、脆的、硬的、能解渴的、能充饥的等等;其次,除此之外,人们一般还会认为,有一个实体性的东西承载着所有感官告诉我们的这些性质,而这个实体性的东西才是真正的“苹果”。这与大卫·休谟的“怀疑因果”很像。事实上,哲学家约翰·洛克也提出过类似的观点。洛克说,人类的认知模式是通过感知外部世界的苹果的不同特征,然后将这些特征整合,最终意识到苹果的存在。
以上两位哲学家提出的思考过程其实给了人类教会AI识别物体的一个思路,AI是怎么做的?这里我们以香蕉为例。首先,已知有500根香蕉,300个苹果,200个梨,测试特征分别是“长、甜、黄”,AI的识别模式就是“盲人摸象”,从“形状是长的,味道是甜的,外表是黄的”三个特征去推断统计。之后,AI再根据统计数据,去拟合长、甜、黄这三个特征,而整个计算过程就是用的贝叶斯公式,详见下图。
以上说明一个道理,算法处理的不是“确定性”,而是概率,尤其是人工智能的算法。
接下来我们来看一个智商游戏,这是丹尼尔·卡尼曼和搭档特沃斯基设计的。题目如下,某市八年级学生的平均智商是100。为检验当地的教育水平,你随机选择了50名学生接受测试。第一个学生的智商测试得分为150,请判断这50名学生的平均智商。之前参与这项游戏的专家给出的答案大多是“100”。为什么?因为他们认为八年级孩子的平均智商是100。智商超高和智商超低的孩子都是群组中的特例,会两相抵消。就像硬币,这次正面朝上,下次就会反面朝上。只不过,贝叶斯定理的计算结果显示,孩子的平均智商是101。“(150×1+49×100)/50”
通过这个游戏,卡尼曼和特沃斯基有了一个特别重要的发现,也是每一个贝叶斯主义者都必须掌握的基本功,就是“小样本不会自我调节,大数定律靠随机性来稀释”。简单来说,就是人类理解概率的最大障碍就是人类对动机、意义、规律、因果的迷恋和错觉。要成为一个概率思维者,不能成为赌徒。那么,为什么有些聪明人爱赌?因为他们还不足够聪明。而要从一个赌徒变成一个贝叶斯主义者,就要服从一个特别奇怪的框架——即理解结果。那么,什么叫结果?结果就是假说为真的概率。
……篇幅所限,本文内容仅为课程十分之一,点击海报,观看完整课程!
贝叶斯主义者的四个习惯
习惯1:运用贝叶斯定理,实现“有系统”的复利效应
贝叶斯主义者的第一个习惯,是运用贝叶斯定理实现“有系统”的复利。也就是我们说的,在初始信念中有一个先验概率,然后大胆行动、获得信息,最后得到一个后验概率,进而更新信念。更新后的信念会变成下一次的初始信念,像滚雪球一样越滚越大,不断进行“知”“行”的转化。
实际上,人和人差别并不大,为什么有些人厉害?因为“一个人的成就等于他的核心算法乘以可以大规模重复的一个N次方”。背后对应的就是复利公式”。而复利公式的本质就是本金思维、复制价值和终身进化。
习惯2:探索未知,也利用已知,在攻与守之间进行权衡
贝叶斯主义者的第二个习惯,是探索未知,利用已知,在攻与守之间进行权衡。以“多臂赌博机”为例。你面前有n台赌博机,每台赌博机的赢钱概率都不同,但你不知道每台机器的具体赢钱概率,你的目标是通过一定次数的尝试,找出赢钱概率最高的那台机器,然后将剩下的押注全部放在这台机器上,以此最大化收益。
这个问题中的挑战在于找到一个合适的策略,这个策略要在探索(尝试新的机器以了解它们的赢钱概率)和(利用已知的信息,押注赢钱概率高的机器)之间找到平衡。比如,你先试了第一台几次,发现赢钱的概率不高,然后你就转向第二台机器,第二台机器的前几次试玩,你都赢了,于是你就开始对这台机器有了信心,决定将更多的押注放在这台机器上。但同时,你还会保留一些押注尝试第一台机器。
总之,我们要做的是用90%的资源进行防守的同时,留5%到10%的资源适当地做一些进攻,拥有一个攻守兼备的人生。
习惯3:成为学习机器,在适应中快速进化
贝叶斯主义者的第三个习惯,是成为学习机器,在适应中快速进化。不管是贝叶斯、休谟还是人工智能,某种意义上来说都是一种演化理性的体现。有一个问题叫做“大海如何塑造船只”。对此,一位哲学家说,每一艘船都是复制另外一艘船。用进化论来解释的话,就是“活下来”的船都是被大海选择下来的。而对于贝叶斯主义者而言,与其冥思苦想研究,不如快速做一艘船下海实验,迭代反馈。
这一点,马斯克在南加大商学院演讲的内容也可印证,他说,“创业最重要的事情就是做高效的赚钱机器。为此,你要努力工作,吸引优秀人才,将核心放在把产品和服务变得更好,且不要单一跟着大趋势走。”
习惯4:理解贝叶斯理论的局限
贝叶斯主义者的第四个习惯,理解贝叶斯理论的局限,小心应对黑天鹅事件。贝叶斯理论有几个小缺点:依赖于先验知识,过于理想化的假设,计算复杂性高,结果相对而言保守,最后可能会掉入一个局部最优陷阱。因此,做一个贝叶斯主义者,就要不断地迭代。
总结
对于成功者而言,运气永远是排在第一位的,而运气又是结果的偏移。我们不能改变运气,但是能够改变运气的运气,比如,去鱼多的地方捕鱼,远离烂人,尊重常识等等;其次,要学会利用非线性的机会,并加上线性的努力;再次,要有信念,但不要誓死捍卫你的信念。凯恩斯曾说过,“当事实改变之后,我将改变我的想法,你会怎么做?”最后,在决策的时候像AI一样,压缩过去,专注当下,选终局获胜概率最大的那一手棋。
贝叶斯主义者没有成功和失败的概念,因为成功和失败就像方向盘,向左一点、向右一点而已,关键在于根据反馈去优化自己的下一步的行动。
贝叶斯主义者每天起来要对自己说一声,笨蛋,行动起来,不管你有多害怕。
……篇幅所限,本文内容仅为课程十分之一,扫描海报二维码,观看完整课程!