发表于 | 阅读次数:

K-mean与高斯混合模型：K-means算法和EM算法的差别在哪里？

答：CSDN博主JpHu说，K-Means算法对数据点的聚类进行了“硬分配”，即每个数据点只属于唯一的聚类；而GMM的EM解法则基于后验概率分布，对数据点进行“软分配”，即每个单独的高斯模型对数据聚类都有贡献，不过贡献值有大有小。

发表于 | 阅读次数:

BN & LN

批规范化的效果依赖于 minibatch 的大小，而且对于循环神经网络 RNN 无法下手. 本文将批规范化转换成层规范化——通过计算在一个训练样本上的一层上的神经元的求和输入的均值和方差.

阅读全文 »

发表于 | 阅读次数:

深度学习中的优化器

AdaGrad

亦称为适应性梯度（Adaptive Gradient），它允许学习率基于参数进行调整，而不需要在学习过程中人为调整学习率。AdaGrad 对具有较大梯度的参数相应地有一个快速下降的过程，而具有小梯度的参数在学习率上有相对较小的下降速度。因此，AdaGrad 成了稀疏数据如图像识别和 NLP 的天然选择。

阅读全文 »

发表于 | 阅读次数:

文本分类之特征工程

内容参考自http://www.jeyzhang.com/text-classification-in-action.html

本文的话题老生常谈，文本分类应该是很多NLPer非常常遇到和熟悉的任务之一了，下面总结一下博主在处理这类任务的过程中特征工程方面的经验，希望对各位NLP入门者或者在做此类任务的新手有所帮助。对于其他的文本处理任务，也会有一定的参考意义。

阅读全文 »

发表于 | 阅读次数:

FlAG

立个flag，以后每周至少更新两篇博客，论文或者所学的东西都可以

让自己学到的东西有个痕迹

发表于 | 阅读次数:

高建伟 Jianwei Gao

浙江大学, 计算机学院, 硕士研究生

研究方向：自然语言处理与深度学习

Currently

Standing on the shoulders of giants

Specialized in

Laws of motion, gravitation, minting coins, disliking Robert Hooke

Research interests

Cooling, power series, optics, alchemy, planetary motions, apples.

Education

1654-1660
The King’s School, Grantham.

June 1661 - now
Trinity College, Cambridge

  • Sizar

1667 - death
Trinity College, Cambridge

  • Fellow

Awards

2012
President, Royal Society, London, UK

Associate, French Academy of Science, Paris, France

Publications

Journals

1669
Newton Sir I, De analysi per æquationes numero terminorum infinitas.

1669
Lectiones opticæ.

etc. etc. etc.

Patents

2012
Infinitesimal calculus for solutions to physics problems, SMBC patent 001

Occupation

1600
Royal Mint, London

  • Warden
  • Minted coins

1600
Lucasian professor of Mathematics, Cambridge University