优化问题通常可以表示为： \[\theta^* \in \arg\min_{\theta \in \Theta} L(\theta)\] 其中，\(\theta^*\)是优化得到的参数，\(\Theta\)是参数空间，可以是任意维度的实数集合，而\(L(\theta)\)是目标函数或损失函数，它衡量了参数与某种目标之间的距离。 凸优化问题的局部最优解即是全局最优解，而非凸问题可能有多个局部

一、KL散度 机器学习本质上是对信息的处理，其中一个关键就在于如何衡量从一个信息的分布到另一个信息分布的差别与变化。KL 散度（Kullback-Leibler Divergence）作为衡量分布差异的最经典函数，其定义为： 离散情况： \[D_{KL}(p \| q) \equiv \sum_{k=1}^{K} p_k \log \frac{p_k}{q_k}\] 连续情况

概率图是随机变量集合的一种表现形式。在概率图中，节点代表随机变量，边的有无则表示这些变量之间的条件独立性假设。所以，称为“独立性图”似乎更为合适。根据图的不同类型，概率图模型可以分为有向图、无向图或有向无向混合图的模型。 一、有向图模型（贝叶斯网络） 基于有向无环图（DAGs）的有向概率图模型（DPGM）通常被称为贝叶斯网络（Bayes nets）。不过这里的“贝叶斯”其实只是定义概率分布的

本学习笔记用于记录我学习Probabilistic Machine Learning的学习笔记，分享记录，也便于自己实时查看。 前面Probability部分重点是关注给定参数$\theta$后，数据$D$的分布，即$P(D|\theta)$，而Statistics部分则是关注给定数据分布下，参数$\theta$的概率，即$P(\theta|D)$。 一、贝叶斯统计 贝叶斯统计也是比较熟悉了，主要

2024年的国庆假期，笔者忙完了保研，于是和高中同学一起去青甘大环线进行了7天的自驾游，在这记录保存一下笔者看到的祖国大西北的美景。 青海湖 大环线的第一站，青海湖比我想象中大很多，可惜景点只有一小部分。 茶卡盐湖 第二站去的茶卡盐湖，说是中国的天空之镜，可惜去的是晚上，没有欣赏到。btw，去茶卡盐湖一定要买小火车，笔者走了好久但还是没走到终点。 水上雅丹

本学习笔记用于记录我学习Probabilistic Machine Learning的学习笔记，分享记录，也便于自己实时查看。 一、Probability基础知识 1. Probability space 概率空间是一个三元组$(Ω，F，P)$，其中$Ω$是样本空间，是实验可能结果的集合；$F$是事件空间，它是$Ω$所有可能子集的集合；$P$是概率函数，它是从事件$E \subsetΩ$到$[0,

本学习笔记用于记录我学习Stanford CS236课程的学习笔记，分享记录，也便于自己实时查看。 引入 前面的课程中我们已经学习了许多生成模型的架构，例如VAEs，Score Based Models等。在课程的最后也是总算来到当前最火的生成模型架构：Diffusion Model。其实Diffusion Model与前面模型或多或少都有一定的联系，我们也可以从不同的视角来理解它。

本学习笔记用于记录我学习Stanford CS236课程的学习笔记，分享记录，也便于自己实时查看。 引入 Score function 上一次我们学习了Energy Based Model。其核心做法是对一个数据集\({x_{1}, x_{2}, ..., x_{N}}\)，我们把数据的概率分布\(p(x)\)建模为： \[p_{\theta}(\mathbf{x}) = \frac

本学习笔记用于记录我学习Stanford CS236课程的学习笔记，分享记录，也便于自己实时查看。 引入 生成模型的核心目标是对目标样本的概率分布进行预测。而对于一个概率密度函数 \(P(x)\) ，它只需要满足下面两个条件： 非负， \(P(x)\) 在任何一个点都不能小于0，这很显然。 积分为1， \(P(x)\) 从负无穷积分到正无穷得是1。 其中对于第二点，如果