GNE[1]在对新闻进行预处理的日技时候，会提前移除一些显然不可能包含正文的匹配何 Dom 节点，从而增加提取的忽略准确性。

一般来说，日技网页的匹配何版权信息，页尾信息，忽略会放在一个叫做<div class="footer"></div>的日技标签里面。所以，匹配何要用 XPath 找到这种版权信息，忽略本来应该非常简单：//div[@class="footer"]。日技但实际场景中，匹配何可能有两种情况：<div class="xxxfooteryyy"></div>和<div class="Footer">。忽略

footer前后都有字符的日技时候，云服务器提供商我们可以使用 XPath 的匹配何关键词contains：//div[contains(@class, "footer")]，运行效果如下图所示：

但如果我们想忽略大小写的忽略时候怎么办呢?实际上，在 XPath 2.0的标准里面，有一个关键字叫做lower-case就可以实现这个需求，XPath 写为： //div[lower-case(@class)="footer"]/text()。我们可以在一些在线 XPath 检查的工具里面看到提取效果，如下图所示：

但坏就坏在，Python 的第三方库lxml使用的是 XPath 1.0标准，因此没有lower-case这个关键字。所以要实现这个需求，我们需要使用另一个关键字translate：//div[translate(@class, "ABCDEFGHIJKLMNOPQRSTUVWXYZ", "abcdefghijklmnopqrstuvwxyz")="footer"]/text()。亿华云

运行效果如下图所示：

这里的translate效果就跟 Python 字符串的translate差不多。我以前写过一篇文章：一日一技：在字符串中批量替换单个字符介绍在 Python 里面怎么使用translate方法。

XPath 的translate的语法为：translate(目标属性, 需要替换的字符, 替换成字符)。这样就可以把节点的目标属性值转成小写再来对比。

那么，如果HTML 标签的属性值是xxxFooteryyy怎么办呢?其实我们也可以像函数嵌套一样再套一层contains：//div[contains(translate(@class, "ABCDEFGHIJKLMNOPQRSTUVWXYZ", "abcdefghijklmnopqrstuvwxyz"), "footer")]

运行效果如下图所示：

参考文献

[1]GNE: https://github.com/GeneralNewsExtractor/GeneralNewsExtractor

本文转载自微信公众号「未闻Code」，可以通过以下二维码关注。转载本文请联系未闻Code公众号。