TextCNN详解
什么是卷积?最好理解的方式就是,一个小框在矩阵上滑动,并通过一定的计算来得到一个新的矩阵。看图吧,这样更好理解!
卷积神经网络的核心思想是捕捉局部特征,对于文本来说,局部特征就是由若干单词组成的滑动窗口,类似于N-gram。卷积神经网络的优势在于能够自动地对N-gram特征进行组合和筛选,获得不同抽象层次的语义信息。
TextCNN原理Yoon Kim在论文(2014 EMNLP) Convolutional Neural Networks for Sentence Classification提出TextCNN。将卷积神经网络CNN应用到文本分类任务,利用多个不同size的kernel来提取句子中的关键信息(类似于多窗口大小的ngram),从而能够更好地捕捉局部相关性。
每一个单词的embedding固定,所以kernel size的宽度不变,只能改变高度。kernel的通道可以理解为用不同的词向量表示。
输入句子的长度不一样,但卷积核的个数一样。每个卷积核抽取单词的个数不一样,高度低的形成feature maps长度就较长,高度高的形成feature maps的长度就较短,但fe ...