贝叶斯理论回顾

统计VS贝叶斯

• 古典统计学：通过进行大量重复实验并统计某个特定结果出现的频率作为对未知参数的估计。
• 贝叶斯统计学：使用概率的方法来解决统计学问题。
  • 贝叶斯统计学认为未知的模型或者参数是不确定的、符合某个概率分布。特别的，我们会首先根据主观判断或者过去的经验，对这个概率分布有一个猜测，称为先验分布（prior distribution）；然后根据越来越多的观测值（new data 或者 new evidence）来修正对该概率分布的猜测，最后得到的概率分布称为后验分布（posterior distribution）。
  • 贝叶斯统计学中的“概率”的概念可以被解释为我们对未知变量不同取值的信心程度的测度（measure of confidence）。贝叶斯统计不消除未知变量的不确定性，而是通过越来越多的新的观测点来持续更新我们对于该未知变量不确定性的认知，提高我们对不确定性的判断的信心。
    贝叶斯统计-石川的文章-知乎

贝叶斯定理(Naive Bayes)

• 条件概率：在B事件发生的前提下，事件A发生的概率，即$P(A|B)$
• $P(A|B)$定义: $P(A|B)=\frac{P(AB)}{P(B)}$
• 推导可得:$P(B)P(A|B)=P(AB)$
• 替换条件概率公式中的P(AB)得到贝叶斯定理： $$P(A|B)=\frac{P(B|A)P(A)}{P(B)}$$

  贝叶斯推断

• 核心：通过新的观测数据（或者新的证据）来不断的更新我们对未知量的认知
• 例子：假设我们的先验认知是明天太阳不会升起（即明天太阳不会升起的概率为 1）。然而，实际观测到的证据是每天太阳都照常升起。由此，我们会不断的修正之前那个先验，由此得到的后验认知是下一天太阳不会升起的概率越来越低。
• 贝叶斯推断：新证据或者数据来更新认知的过程
• 假设一个需要估计的未知量(参数)$\theta$,并且针对该变量有一个先验分布$P(\theta)$. 令$D$为一系列观测值(数据).通过$D$来不断修正对$\theta$分布的认识->即后验分布$P(\theta|D)$ $$P(\theta|D)=\frac{P(D|\theta)P(\theta)}{P(D)}$$
• $\theta$的先验分布$P(\theta)$
• $\theta$的后验分布$P(\theta|D)$
• 可能性、似然度(likelihood)$P(D|\theta)$.未知变量服从$\theta$的前提下，观察序列$D$的条件概率
• 观测值$P(D)$.考虑所有可能的$\theta$分布下，所能观测到的序列$D$的非条件概率.