通用爬虫探索（二）：落实到论坛爬取上

原文链接 | 2017-06-06 | 苏剑林

前述的方案，如果爬取的页面仅仅有单一的有效区域，如博客页、新闻页等，那么基本上来说已经足够了。但是，诸如像论坛这样的具有比较明显的层次划分的网站，我们需要进一步细分。因为经过上述步骤，我们虽然能够把有效文本提取出来，但结果是把所有文本放在一块了。

深度优先#

而为了给内容进一步“分块”，我们还需要利用DOM树的位置信息。如上一篇的DOM树图，我们需要给每个节点和叶子都编号，即我们需要一个遍历DOM树的方式。这里我们采用“深度优先”的方案。

深度优先搜索算法（英语：Depth-First-Search，简称DFS）是一种用于遍历或搜索树或图的算法。沿着树的深度遍历树的节点，尽可能深的搜索树的分支。当节点v的所在边都己被探寻过，搜索将回溯到发现节点v的那条边的起始节点。这一过程一直进行到已发现从源节点可达的所有节点为止。如果还存在未被发现的节点，则选择其中一个作为源节点并重复以上过程，整个进程反复进行直到所有节点都被访问为止。**

前一篇文章的DOM树，经过深度优先搜索后，各个节点和叶子的编号如下图。

DOM树的编号

例外标签#

给节点编号是为了后面的聚类，这我们自然希望同一类内部的编号差值越小越好。在众多HTML标签中，有不少标签仅仅表示强调、超链接等作用，如strong标签表示加粗，em标签表示斜体，等等，这些标签只会改变内容的样式，而不会改变内容的层级，因此，我们在遍历这些标签的时候，编号可以不变化，这样能够保证同一层级的标签之间更为相近，确保聚类的有效性。

我们列举的允许例外的标签如下表:

\[ \begin{array}{c|c} \hline 标签 & 意义 \\ \hline p/br & 换行\\ \hline strong/b & 加粗 \\ \hline em & 斜体 \\ \hline font & 字体样式 \\ \hline u & 下划线 \\ \hline a & 超链接 \\ \hline img & 插入图片\\ \hline h1/h2/h3/h4/h5 & 标题标记\\ \hline \end{array}\]

完整的例外标签列表，请直接查看源代码。

差分峰值聚类#

通过前面的步骤提取的有效文本，并且经过上述深度优先的方式标号之后，就得到一个关于文本位置的序列。我们就会发现，同一个模块内的文本编号之差比较小，而不同模块之间的文本编号之差比较大。比如，同一篇文章的标题、日期、内容的位置编号很近，同一个楼层的回帖的标题、日期、回帖内容的位置编号也比较近，等等，如下图。这就诱使我们利用这个位置编号对有效文本进行进一步的聚类。

bbs的楼层划分

为此，我们考察位置序列的差分图，并且将实际情况的楼层分界线，用红色虚线描述出来，得到下图：

对位置编号序列做差分后，以差分序列的角标作为x轴，以差分结果作为y轴，所得的结果图。

上图显示了一个很明显的规律：每个楼层的分界线，基本就在差分序列的局部最大值处。因此，我们可以利用这个方案做切分式的聚类，即以局部峰值为分割点来对文本进行切分。这种聚类方式具有很好的特性，比如

1、能够自动确定聚类数目，即我们不需要预知究竟有多少个楼层；2、自适应特殊情况，比如，倒数第二、第三个楼层相对其他楼层来说宽一点，是因为它的楼层之中还具有评论，即所谓“楼中楼”，所以导致内容更多一些，但即便如此，这个规律依旧保持着。

这说明，以这个规律来对文本进行分块，划分不同的楼层，是比较靠谱的。此外，这个聚类可以重复运行，以适应不同粒度的需求。事实上，对于论坛来说，大概需要重复运行1$$2次，就可以得到楼层的划分了。

内容识别#

最后，就是针对论坛本身，对每块文本区域的内容进行归类。为了不使爬虫复杂化，并且保证爬虫本身的效率，这里采用的识别方法相对来说都比较简单，是较为纯粹的规则分类。

标题#

标题的识别相对简单，因为正常的页面的源代码中都有