特征加权之TFIDF

1、背景

在上篇特征加权之TFIDF 中，我们提到了IDF的固有缺点，即$IDF$ 的简单结构并不能使提取的关键词，十分有效地反映单词的重要程度和特征词的分布情况，使其无法很好地完成对权值调整的功能。尤其是在同类语料库中，这一方法有很大弊端，往往一些同类文本的关键词被掩盖。例如：语料库 $D$ 中教育类文章偏多，而文本 $j $是一篇属于教育类的文章，那么教育类相关的词语的$ IDF $值将会偏小，使提取文本关键词的召回率更低。因此我们在此提出词语逆频率方式计算加权算法 $TF-IWF$ (Term Frequency-Inverse Word Frequency)。

2、TF-IWF

此处的$TF$与$TF-IDF$中意义一样，表示词频：

$$tf_{ij} = \frac{n_{i,j}}{\sum_{k}n_{k,j}}$$

上式中分子$ n_{i,j}$ 表示词语$t_i$在文本$j$中的频数，分母$\sum_{k}n_{k,j}$表示文档$j$中所有词汇量总和，即是说：

$$TF_w = \frac{给定词w在当前文章出现的次数}{当前文章中的总词量}$$

不同之处在于$IWF$部分，定义为：

$$iwf_{i} = log\frac{\sum_{i=1}^m nt_{i}}{nt_{i}}$$

上式中分子 $\sum_{i=1}^m nt_{i}$ 表示语料库中所有词语的频数之和，分母 $nt_{i}$ 表示词语 $t_{i}$ 在语料库中的总频数，即：

$$IWF_{i}=\frac{语料库中所有词语的频数}{给定词w在语料库中出现的频数和}$$

因此，$TF-IWF$ 定义为：

$$TF-IWF_{i,j}\rightarrow tf_{i,j} \times iwf_{i}=\frac{n_{i,j}}{\sum_{k}n_{k,j}}\times log\frac{\sum_{i=1}^m nt_{i}}{nt_{i}}$$

3、代码实现

这里我用python简单实现一下该算法

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time    : 2019/11/3 12:31
# @Author  : mokundong

import math
import numpy as np


class TF_IWF:
    '''
    tf-iwf 算法
    '''

    def __init__(self, lines):
        self.iwf = dict()
        self.median_iwf = 0
        self.__build_iwf(lines)

    def __get_tf(self, strs):
        tf_dict = {}
        line_words = strs.split(" ")
        total_word_line = len(line_words)
        for word in line_words:
            if word not in tf_dict:
                tf_dict[word] = 1
            else:
                tf_dict[word] = tf_dict[word] + 1
        for k, v in tf_dict.items():
            tf_dict[k] = v / total_word_line
        return tf_dict

    def __build_iwf(self, lines):

        for line in lines:
            line_words = line.split(" ")
            for word in line_words:
                if word not in self.iwf:
                    self.iwf[word] = 1
                else:
                    self.iwf[word] = self.iwf[word] + 1
        total_word_lines = len(self.iwf.values())
        values = []
        for k, v in self.iwf.items():
            self.iwf[k] = math.log(total_word_lines / v, 10)
            values.append(math.log(total_word_lines / v, 10))
        self.median_iwf = np.median(values)

    def get_tfiwf(self, strs):
        result = dict()
        tf_dict = self.__get_tf(strs)
        line_words = strs.split(" ")
        for word in line_words:
            if word not in self.iwf.keys():
                result[word] = tf_dict[word] * self.median_iwf
            else:
                result[word] = tf_dict[word] * self.iwf[word]
        return result


if __name__ == "__main__":
    lines = [
        '这是 第一 篇 文章 ',
        '这 篇 文章 是 第二 篇 文章 ',
        '这是 第三 篇 文章 '
    ]
    line = '这是 第几 篇 文章'
    tfiwf = TF_IWF(lines)
    result = tfiwf.get_tfiwf(line)
    print(result)

从结果我们可以看到这句话的关键词是“第几”，也符合句话的预期，而在上篇我们用TF-IDF算法中同样的训练预料得到的结果却不尽人意。

4、总结

这种加权方法降低了语料库中同类型文本对词语权重的影响，更加精确地表达了这个词语在待 查文档中的重要程度。在传统方法 $TF-IDF$ 所求的权值一般很小接近 $0$，精确度也不是很高，公式 $TF-IWF$ 的计算结果刚好能解决最后权值过小的问题。