贝叶斯学习又称之为贝叶斯推理。贝叶斯定理本质上是一种数学公式，用来更新对某件事的信念或概率判断。在贝叶斯学习中，我们利用这个定理来做出预测或分类。
所谓的贝叶斯定理源于他生前为解决一个“逆概”问题写的一篇文章，而这篇文章是在他死后才由他的一位朋友发表出来的。在贝叶斯写这篇文章之前，人们已经能够计算“正向概率”，如“假设袋子里面有 N 个白球，M 个黑球，你伸手进去摸一把，摸出黑球的概率是多大”。
而一个自然而然的问题是反过来：“如果我们事先并不知道袋子里面黑白球的比例，而是闭着眼睛摸出一个（或好几个）球，观察这些取出来的球的颜色之后，那么我们可以就此对袋子里面的黑白球的比例作出什么样的推测”。这个问题，就是所谓的逆向概率问题。
支持某项属性的事件发生得愈多，则该事件发生的的可能性就愈大。
1. 从经验中学习： 想象你有一个装满了红球和蓝球的袋子，你不知道里面有多少红球和蓝球，但你可以通过每次从袋子里随机抽取一个球来了解这个比例。每次你抽出一个球（例如红球），你就可以更新你对袋子里红球数量的猜测，这就是贝叶斯学习的核心——不断根据新信息更新你的猜测。
2. 初始信念和更新： 贝叶斯学习有一个“初始信念”（也叫先验概率），它是你一开始的猜测。例如，你一开始认为袋子里的红球和蓝球数量相等。随着你不断从袋子里抽球（获得新的数据），你会逐渐调整这个猜测（更新概率）。
3. 预测未来： 一旦你积累了足够的数据和经验，你可以更准确地预测下次从袋子里抽出红球的概率。贝叶斯学习就是通过这种“经验积累”和“持续更新”的过程来做出预测的。
贝叶斯学习有点像一个侦探破案。侦探一开始有一个关于罪犯的初步猜测（先验概率），然后根据每找到的线索（数据），逐渐修正对罪犯的判断，直到他最终找出真正的罪犯（做出预测）。
通过这种方式，贝叶斯学习让机器能够根据过去的经验，不断改进对未来事件的预测，即使你不具备深厚的数学基础，也能理解这种“逐步更新猜测”的基本思路。