自动检测停用词的方法

自动检测停用词的方法

令一个停用词为f(i)，

nj(f(i))表示停用词i在时间窗口j内所有文本中出现的次数。时间窗口典型的选择1天。时间窗口出现的文本，为这个时间产生的网页文章。例如在今天“沙达姆”出现在1000个文档中的20篇，则nj(f(i))=20。

另Pj [nj(f(i))=K] 表示停用词i在时间窗口j内所有文本中出现的次数为K的概率。K符合超几何分布。（不妨回忆一下超几何分布，在一个已知正品概率的总体空间中，任取n个零件，则其中正品的数量，这一随机变量就是超几何分布。），超几何分布在总体足够大的时候接近与二项分布，由于二项分布的计算比较简单，所以采用二项分布近似。

Pj [nj(f(i))=K] = C(K,N)* pi^k*(1-pi)^N-k

N为在时间窗口j中的总文档数，K为包含停用词f(i)的文档数，pi,为停用词f(i)的一般出现文档频率。pi可以理解成一系列时间窗口的出现频率的均值。

在一个时间窗口中的二项分布一般是不对称的除非pi=0.5,我们正是利用这个不对称，来判别停用词。

来看这个

X轴表示时间窗口中的文档数，N为最大值。Y轴表示出现x个文档包含特征f(i)的概率，对于停用词来说，N个文档

中出现N个文档包含特征f(i)的概率都相当大，所以可以判定该词为停用词。