高斯混合模型概要假设我们有若干个高斯分布模型，每个模型会以一定的概率被选择，然后根据被选择的模型的概率分布产生一个结果。我们希望可以在只有输出序列的情况下，对模型的参数进行估计。 形式化我们把观察序列记为$Y=y_1,y_2,…,y_j$ ，将模型总数记为 $K$ ，第 $k$ 个高斯分布模型 $\phi\left(y | \theta_{k}\right)$ 会以 $\alpha_k$ 的概率被选择， P(y | \theta)=\sum_{k=1}^{K} \alpha_{k} \phi\left(y | \theta_{k}\right)其中$\phi\left(y | \theta_ ...

第一步:修改编译引擎12npm uninstall hexo-renderer-marked --savenpm install hexo-renderer-kramed --save 第二步:修改新的编译引擎的行内规则，确保行内公式正常显示修改node_modules\kramed\lib\rules\inline.js的第11行为12//escape: /^\\([\\`*{}\[\]()#$+\-.!_>])/,escape: /^\\([`*\[\]()#$+\-.!_>])/, 第三步:启用next的数学公式支持在themes/next/_config ...

EM算法推导与三硬币模型 EM算法概览EM算法是一种极大似然法，专门处理含有隐变量的概率模型。隐变量不能直接观测得到，为了得到对隐变量分布的一个近似估计，EM算法分两步进行迭代求解： E步：使用当前模型参数求出一个期望 M步：对期望求极大一个使用EM算法求解的例子：有三枚硬币A，B，C，先投掷A，如果是正面就投掷B，如果是反面就投掷C，若我们只能观测到最后的投掷结果（B或者C的结果），如何估算三颗硬币的正面率？在这里面，每次A的结果不能从观测变量中直接得到，因此A是一个隐变量。以下部分会先推导EM算法，然后将其应用在三硬币问题上。 EM算法推导首先考虑最一般化的极大似然，我们在获得观测变量 ...

前言        一开始只是在寻找文本分类相关的论文，在浏览了大量的论文之后发现CNN和RNN逐渐成为这几年NLP的主流模型，于是打算深入了解一下这个方面的应用。         自从2013年Google关于词嵌入(word embedding)的工作出来之后，利用word embedding作为模型输入变成了一种常用的文本预处理。与此同时，CNN(卷积神经网络)在计算机视觉(CV,computer vision)取得了非常好的成绩 ...