解读logistics模型

Odds

在统计学中，概率（Probability）和Odds都是用来描述某件事情发生的可能性。
Odds表示事情发生概率和不发生概率的比值。

Exploring the Limits of Language Modeling

论文主要讨论了当前的RNN模型在大规模的语言建模方面的进展。

Notes on Noise Contrastive Estimation and Negative Sampling

结论：
NCE在计算正负样本的条件概率大小的时候，考虑了负样本和分布情况，预测的结果不仅和正样本有关，同时和负样本的分布也有关系。负样本的label是 soft label
但是，而Negative没有考虑负样本的分布，直接将正负样本都当做是已经存在的（存在即是必然），抽样出来的负样本就是假设已经存在的负样本。对NCE的进一步简化。负样本的lable是hard label

正则表达式

常用正则表达式大全！（例如：匹配中文、匹配html）

机器学习项目

机器学习项目一般都会牵扯到数据预处理，建模，评估，可视化，部署上线等一系列流程。

优化器使用

为每个参数单独设置选项

在机器学习的日常开发中，实践者需要决定是够收集足够的数据，增加或者减少模型容量、增加或者删除正则化项、改进模型的优化、改进模型的近似推断或者调试欧兴的软件实现等。

CNN和RNN都是NLP中常用的模型，两个模型捕捉特征的角度也不太一样，CNN善于捕捉文本中关键的局部信息，而RNN则善于捕捉文本的上下文信息（考虑语序信息），并且有一定的记忆能力，两者都可以用在文本分类任务中，而且效果都不错。

RNN的提出主要是为了解决序列问题的长期依赖问题。

卷积网络

动机（为什么）

原理：
自然信号具有层次化结构的属性，更高层次的属性时通过低层次属性组合获得的。如在图形中，边缘的局部属性组合图案，图案组合成目标。文本，语音都存在类似的层次结构。