这是理解贝叶斯估计的基石,与频率学派（认为概率是长期重复事件发生的极限频率）不同，贝叶斯学派认为：
- 概率是对某个命题或假设为真的“可信度”或“信念程度”的度量。
- 这种信念可以随着新证据的出现而不断更新。
贝叶斯估计完美地体现了这一理念：在获得观测数据后，如何利用贝叶斯定理来更新我们关于未知参数（或假设）的信念。
核心公式：贝叶斯定理
一切皆源于这个简洁而强大的公式：
[ P(\theta \mid D) = \frac{P(D \mid \theta) \cdot P(\theta)}{P(D)} ]
- (\theta)： 我们关心的未知参数（一枚硬币正面朝上的概率）。
- (D)： 观测到的数据（10次抛掷中7次正面）。
- (P(\theta)) - 先验分布： 在见到数据 (D) 之前，我们基于已有知识（经验、文献、直觉）对参数 (\theta) 可能取值的概率分布，它量化了我们的初始信念。
- (P(D \mid \theta)) - 似然函数： 在参数 (\theta) 为某个特定值时，观测到当前数据 (D) 的可能性，这与频率学派中的似然函数相同。
- (P(D)) - 证据/边缘似然： 数据 (D) 在所有可能的 (\theta) 下出现的总概率，它是一个归一化常数，确保后验分布是一个有效的概率分布（积分为1）。
- (P(\theta \mid D)) - 后验分布： 在考虑了观测数据 (D) 之后，我们对参数 (\theta) 的新的、更新后的信念分布。它是贝叶斯估计的最终输出和全部答案。
公式的认知解读： 后验信念 ∝ 似然 × 先验信念 我们更新的信念（后验）正比于“数据告诉我们的信息”（似然）乘以“我们原本相信的”（先验）。
关键认知要点
-
参数是随机变量
- 在频率学派中,参数（如总体均值 (\mu)）是固定但未知的常数，我们通过构造统计量（如样本均值 (\bar{x})）去“估计”它。
- 在贝叶斯学派中,参数 (\theta) 本身就是一个随机变量，我们用概率分布（先验/后验）来描述其不确定性，我们不是在“估计”一个点，而是在“描述”其所有可能值的概率。
-
先验信息：从主观到客观的谱系
-
输出是完整的概率分布
-
自然的序贯更新
-
模型比较的天然框架
贝叶斯因子可以用于比较两个不同模型（(M_1) 和 (M_2)）的相对证据强度，它基于边缘似然 (P(D \mid M))，自动对复杂模型进行“奥卡姆剃刀”式的惩罚。
一个简单的认知示例：估计硬币的公平性
问题：一枚硬币可能不公平，我们想估计它正面朝上的概率 (p)。
- 先验： 我通常认为硬币大多是公平的，但允许有一定偏差，我选择一个 Beta(2, 2) 分布作为先验（峰值在0.5，但给0.3-0.7都分配了概率）。
- 数据： 抛掷10次，观察到7次正面，3次反面。
- 似然： 这是一个二项似然。
- 后验：（利用贝叶斯定理和共轭先验的性质）后验分布是 Beta(2+7, 2+3) = Beta(9, 5)。
- 认知结果：
- 后验分布图像向右偏移,表明数据让我们相信硬币可能更倾向于正面。
- 点估计（后验均值）： (9 / (9+5) \approx 0.643)
- 95%可信区间： 可以计算Beta(9,5)分布的2.5%和97.5%分位数，得到比如 (0.42, 0.84)，我们可以说：“根据我的初始信念和观测数据，我认为 (p) 有95%的可能性在这个区间内。”
- 如果我继续抛掷获得新数据,我可以直接用Beta(9,5)作为新的先验进行更新。
优势与挑战
优势：
- 直观解释： 结果（可信区间）直接回答了人们最想问的问题：“参数在某个范围内的概率有多大？”
- 充分利用信息： 可以自然地将先验知识与当前数据结合。
- 处理复杂模型： 在层次模型、缺失数据、变量选择等问题上非常灵活强大。
- 避免频率主义陷阱： 如p值滥用、多重比较问题等，在贝叶斯框架下有更自然的处理方式。
挑战：
- 先验选择的主观性： 需要谨慎论证和进行敏感性分析。
- 计算复杂性： 对于复杂模型和非共轭先验，后验分布可能没有解析解，需要依赖马尔可夫链蒙特卡洛等计算方法，计算成本高。
- 沟通成本： 向习惯于频率主义思维的人解释贝叶斯结果需要额外努力。
总结认知
贝叶斯估计是一种将“学习”形式化的认知过程：
- 始于信念： 明确你对世界已有的认知（先验）。
- 观察世界： 收集数据（似然）。
- 理性更新： 按照贝叶斯定理的规则，将旧信念与新证据融合，形成新的、改进的信念（后验）。
- 持续迭代： 将新信念作为下一步认知的起点。
它不仅仅是统计学的一个分支,更是一种强大的思维方式，适用于从科学研究到机器学习，再到日常决策的广泛领域，它承认主观性的存在，并通过数学规则将其与客观数据结合起来，实现可重复、可讨论的理性更新。
版权声明：除非特别标注，否则均为本站原创文章，转载时请以链接形式注明文章出处。
