HTMLParser 使用详解-白红宇

HTMLParser 使用详解

阅读量：5797 次

发布时间：2019-06-18

本文共 22267 字，大约阅读时间需要 74 分钟。

简介

　　htmlparser是一个纯的java写的html解析的库，它不依赖于其它的java库文件，主要用于改造或

　　提取html。它能超高速解析html，而且不会出错。现在htmlparser最新版本为2.0。

　　毫不夸张地说，htmlparser就是目前最好的html解析和分析的工具。

　　无论你是想抓取网页数据还是改造html的内容，用了htmlparser绝对会忍不住称赞。

htmlparser基本功能

　　1．信息提取

　　· 文本信息抽取，例如对HTML进行有效信息搜索

　　· 链接提取，用于自动给页面的链接文本加上链接的标签

　　· 资源提取，例如对一些图片、声音的资源的处理

　　· 链接检查，用于检查HTML中的链接是否有效

　　· 页面内容的监控

　　2．信息转换

　　· 链接重写，用于修改页面中的所有超链接

　　· 网页内容拷贝，用于将网页内容保存到本地

　　· 内容检验，可以用来过滤网页上一些令人不愉快的字词

　　· HTML信息清洗，把本来乱七八糟的HTML信息格式化

　　· 转成XML格式数据

htmlparser常用代码

　　取得一段html代码里面所有的链接C#版本，java版本类似：

　　string htmlcode = "<HTML><HEAD><TITLE>AAA</TITLE></HEAD><BODY>" + ...... + "</BODY></HTML>";

　　Parser parser = Parser.CreateParser(htmlcode, "GBK");

　　HtmlPage page = new HtmlPage(parser);

　　try

　　{ parser.VisitAllNodesWith(page);}

　　catch (ParserException e1)

　　{ e1 = null;}

　　NodeList nodelist = page.Body;

　　NodeFilter filter = new TagNameFilter("A");

　　nodelist = nodelist.ExtractAllNodesThatMatch(filter, true);

　　for (int i = 0; i < nodelist.Size(); i++)

　　{

　　LinkTag link=(LinkTag) nodelist.ElementAt(i);

　　System.Console.Write(link.GetAttribute("href") + "\n");

　　}

HTMLParser 使用详解

HTMLParser 具有小巧，快速的优点，缺点是相关文档比较少（英文的也少），很多功能需要自己摸索。对于初学者还是要费一些功夫的，而一旦上手以后，会发现 HTMLParser 的结构设计很巧妙，非常实用，基本你的各种需求都可以满足。

这里我根据自己这几个月来的经验，写了一点入门的东西，希望能对新学习 HTMLParser 的朋友们有所帮助。（不过当年高考本人语文只比及格高一分，所以文法方面的问题还希望大家多多担待）

HTMLParser 的核心模块是 org.htmlparser.Parser 类，这个类实际完成了对于 HTML 页面的分析工作。这个类有下面几个构造函数：

public Parser ();

public Parser (Lexer lexer, ParserFeedback fb);

public Parser (URLConnection connection, ParserFeedback fb) throws ParserException;

public Parser (String resource, ParserFeedback feedback) throws ParserException;

public Parser (String resource) throws ParserException;

public Parser (Lexer lexer);

public Parser (URLConnection connection) throws ParserException;

和一个静态类 public static Parser createParser (String html, String charset);

对于大多数使用者来说，使用最多的是通过一个 URLConnection 或者一个保存有网页内容的字符串来初始化Parser ，或者使用静态函数来生成一个 Parser 对象。 ParserFeedback 的代码很简单，是针对调试和跟踪分析过程的，一般不需要改变。而使用 Lexer 则是一个相对比较高级的话题，放到以后再讨论吧。

这里比较有趣的一点是，如果需要设置页面的编码方式的话，不使用 Lexer 就只有静态函数一个方法了。对于大多数中文页面来说，好像这是应该用得比较多的一个方法。

下面是初始化 Parser 的例子。

package com.baizeju.htmlparsertester;

import java.io.BufferedReader;

import java.io.InputStreamReader;

import java.io.FileInputStream;

import java.io.File;

import java.net.HttpURLConnection;

import java.net.URL;

import org.htmlparser.visitors.TextExtractingVisitor;

import org.htmlparser.Parser;

/**

* @author www.baizeju.com

public class Main {

private static String ENCODE = "GBK";

private static void message( String szMsg ) {

try{System.out.println(new String(szMsg.getBytes(ENCODE), System.getProperty("file.encoding"))); } catch(Exception e ){}

}

public static String openFile( String szFileName ) {

try {

BufferedReader bis = new BufferedReader(new InputStreamReader(new FileInputStream( new File(szFileName)),ENCODE ) );

String szContent="";

String szTemp;

while ( (szTemp = bis.readLine()) != null) {

szContent+=szTemp+"\n";

}

bis.close();

return szContent;

}

catch( Exception e ) {

return "";

}

public static void main(String[] args) {

String szContent = openFile( "E:/My Sites/HTMLParserTester.html");

try{

//Parser parser = Parser.createParser(szContent, ENCODE);

//Parser parser = new Parser( szContent );

Parser parser = new Parser( (HttpURLConnection) (new URL("http://127.0.0.1:8080/HTMLParserTester.html")).openConnection() );

TextExtractingVisitor visitor = new TextExtractingVisitor ();

parser. visitAllNodesWith ( visitor );

String textInPage = visitor.getExtractedText();

message(textInPage);

}

catch( Exception e ) {

}

加重的部分测试了几种不同的初始化方法，后面的显示了结果。大家看到能 Parser 出内容就可以了，如何操作访问 Parser 的内容我们在后面讨论。

HTMLParser 将解析过的信息保存为一个树的结构。 Node 是信息保存的数据类型基础。

请看 Node 的定义：

public interface Node extends Cloneable;

Node 中包含的方法有几类：

对于树型结构进行遍历的函数，这些函数最容易理解：

Node getParent () ：取得父节点

NodeList getChildren () ：取得子节点的列表

Node getFirstChild () ：取得第一个子节点

Node getLastChild () ：取得最后一个子节点

Node getPreviousSibling () ：取得前一个兄弟（不好意思，英文是兄弟姐妹，直译太麻烦而且不符合习惯，对不起女同胞了）

Node getNextSibling () ：取得下一个兄弟节点

取得 Node 内容的函数：

String getText () ：取得文本

String toPlainTextString () ：取得纯文本信息。

String toHtml () ：取得 HTML 信息（原始 HTML ）

String toHtml (boolean verbatim) ：取得 HTML 信息（原始 HTML ）

String toString () ：取得字符串信息（原始 HTML ）

Page getPage () ：取得这个 Node 对应的 Page 对象

int getStartPosition () ：取得这个 Node 在 HTML 页面中的起始位置

int getEndPosition () ：取得这个 Node 在 HTML 页面中的结束位置

用于 Filter 过滤的函数：

void collectInto (NodeList list, NodeFilter filter) ：基于 filter 的条件对于这个节点进行过滤，符合条件的节点放到 list中。

用于 Visitor 遍历的函数：

void accept (NodeVisitor visitor) ：对这个 Node 应用 visitor

用于修改内容的函数，这类用得比较少：

void setPage (Page page) ：设置这个 Node 对应的 Page 对象

void setText (String text) ：设置文本

void setChildren (NodeList children) ：设置子节点列表

其他函数：

void doSemanticAction () ：执行这个 Node 对应的操作（只有少数 Tag 有对应的操作）

Object clone () ：接口 Clone 的抽象函数。

实际我们用 HTMLParser 最多的是处理 HTML 页面， Filter 或 Visitor 相关的函数是必须的，然后第一类和第二类函数是用得最多的。第一类函数比较容易理解，下面用例子说明一下第二类函数。

下面是用于测试的 HTML 文件：

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">

<head><meta http-equiv="Content-Type" content="text/html; charset=gb2312"><title> 白泽居 -www.baizeju.com</title></head>

<body >

白泽居 -www.baizeju.com

<a href="http://www.baizeju.com"> 白泽居 -www.baizeju.com</a>

</div>

白泽居 -www.baizeju.com

</div>

</body>

</html>

测试代码：

/**

* @author www.baizeju.com

package com.baizeju.htmlparsertester;

import java.io.BufferedReader;

import java.io.InputStreamReader;

import java.io.FileInputStream;

import java.io.File;

import java.net.HttpURLConnection;

import java.net.URL;

import org.htmlparser.Node;

import org.htmlparser.util.NodeIterator;

import org.htmlparser.Parser;

/**

* @author www.baizeju.com

public class Main {

private static String ENCODE = " GBK ";

private static void message( String szMsg ) {

try{ System.out.println(new String(szMsg.getBytes(ENCODE), System.getProperty("file.encoding"))); } catch(Exception e ){}

}

public static String openFile ( String szFileName ) {

try {

BufferedReader bis = new BufferedReader(new InputStreamReader(new FileInputStream( new File(szFileName)), ENCODE) );

String szContent="";

String szTemp;

while ( (szTemp = bis.readLine()) != null) {

szContent+=szTemp+"\n";

}

bis.close();

return szContent;

}

catch( Exception e ) {

return "";

}

public static void main(String[] args) {

try{

Parser parser = new Parser( (HttpURLConnection) (new URL("http://127.0.0.1:8080/HTMLParserTester.html")).openConnection() );

for (NodeIterator i = parser.elements (); i.hasMoreNodes(); ) {

Node node = i.nextNode();

message("getText:"+node.getText());

message("getPlainText:"+node.toPlainTextString());

message("toHtml:"+node.toHtml());

message("toHtml(true):"+node.toHtml(true));

message("toHtml(false):"+node.toHtml(false));

message("toString:"+node.toString());

message("=================================================");

}

catch( Exception e ) {

System.out.println( "Exception:"+e );

}

输出结果：

getText:!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"

getPlainText:

toHtml:<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">

toHtml(true):<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">

toHtml(false):<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">

toString:Doctype Tag : !DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd; begins at : 0; ends at : 121

=================================================

getText:

getPlainText:

toHtml:

toHtml(true):

toHtml(false):

第二篇文章

需要做一个垂直搜索引擎，比较了nekohtml和htmlparser 的功能，尽管nekohtml在容错性、性能等方面的口碑好像比htmlparser好（htmlunit也用的是nekohtml），但感觉 nekohtml的测试用例和文档都比htmlparser都少，而且htmlparser基本上能够满足垂直搜索引擎页面处理分析的需求，因此先研究一下htmlparser的使用，有空再研究nekohtml和mozilla html parser的使用。

html的功能还是官方说得最为清楚，

HTML Parser is a Java library used to parse HTML in either a linear or nested fashion. Primarily used for transformation or extraction, it features filters, visitors, custom tags and easy to use JavaBeans. It is a fast, robust and well tested package.

The two fundamental use-cases that are handled by the parser are and (the syntheses use-case, where HTML pages are created from scratch, is better handled by other tools closer to the source of data). While prior versions concentrated on data extraction from web pages, Version 1.4 of the HTMLParser has substantial improvements in the area of transforming web pages, with simplified tag creation and editing, and verbatim toHtml() method output.

研究的重点还是extraction的使用，有空再研究transformation的使用。

1、htmlparser对html页面处理的数据结构

如图所示，HtmlParser采用了经典的Composite模式，通过RemarkNode、TextNode、TagNode、AbstractNode和Tag来描述HTML页面各元素。

org.htmlparser.Node：

Node接口定义了进行树形结构节点操作的各种典型操作方法，包括：

节点到html文本、text文本的方法：toPlainTextString、toHtml

典型树形结构遍历的方法：getParent、getChildren、getFirstChild、getLastChild、getPreviousSibling、getNextSibling、getText

获取节点对应的树形结构结构的顶级节点Page对象方法：getPage

获取节点起始位置的方法：getStartPosition、getEndPosition

Visitor方法遍历节点时候方法：accept (NodeVisitor visitor)

Filter方法：collectInto (NodeList list, NodeFilter filter)

Object方法：toString、clone

org.htmlparser.nodes.AbstractNode：

AbstractNode是形成HTML树形结构抽象基类，实现了Node接口。

在htmlparser中，Node分成三类：

RemarkNode：代表Html中的注释

TagNode：标签节点。

TextNode：文本节点

这三类节点都继承AbstractNode。

org.htmlparser.nodes.TagNode：

TagNode包含了对HTML处理的核心的各个类，是所有TAG的基类，其中有分为包含其他TAG的复合节点ComositeTag和不包含其他TAG的叶子节点Tag。

复合节点CompositeTag：

AppletTag,BodyTag,Bullet,BulletList,DefinitionList,DefinitionListBullet,Div,FormTag,FrameSetTag,HeadingTag,

HeadTag,Html,LabelTag,LinkTag,ObjectTag,ParagraphTag,ScriptTag,SelectTag,Span,StyleTag,TableColumn,

TableHeader,TableRow,TableTag,TextareaTag,TitleTag

叶子节点TAG：

BaseHrefTag,DoctypeTag,FrameTag,ImageTag,InputTag,JspTag,MetaTag,ProcessingInstructionTag,

2、htmlparser对html页面处理的算法

主要是如下几种方式

采用Visitor方式访问Html

try {

Parser parser = new Parser();

parser.setURL(”

parser.setEncoding(parser.getEncoding());

NodeVisitor visitor = new NodeVisitor() {

public void visitTag(Tag tag) {

logger.fatal(”testVisitorAll() Tag name is :”

+ tag.getTagName() + ” \n Class is :”

+ tag.getClass());

}

};

parser.visitAllNodesWith(visitor);

} catch (ParserException e) {

e.printStackTrace();

}

采用Filter方式访问html

try {

NodeFilter filter = new NodeClassFilter(LinkTag.class);

Parser parser = new Parser();

parser.setURL(”

parser.setEncoding(parser.getEncoding());

NodeList list = parser.extractAllNodesThatMatch(filter);

for (int i = 0; i < list.size(); i++) {

LinkTag node = (LinkTag) list.elementAt(i);

logger.fatal(”testLinkTag() Link is :” + node.extractLink());

}

} catch (Exception e) {

e.printStackTrace();

}

采用org.htmlparser.beans方式

另外htmlparser 还在org.htmlparser.beans中对一些常用的方法进行了封装，以简化操作，例如：

Parser parser = new Parser();

LinkBean linkBean = new LinkBean();

linkBean.setURL(”

URL[] urls = linkBean.getLinks();

for (int i = 0; i < urls.length; i++) {

URL url = urls[i];

logger.fatal(”testLinkBean() -url is :” + url);

}

3、htmlparser关键包结构说明

htmlparser其实核心代码并不多，好好研究一下其代码，弥补文档不足的问题。同时htmlparser的代码注释和单元测试用例还是很齐全的，也有助于了解htmlparser的用法。

3.1、org.htmlparser

定义了htmlparser的一些基础类。其中最为重要的是Parser类。

Parser是htmlparser的最核心的类，其构造函数提供了如下：Parser.createParser (String html, String charset)、 Parser ()、Parser (Lexer lexer, ParserFeedback fb)、Parser (URLConnection connection, ParserFeedback fb)、Parser (String resource, ParserFeedback feedback)、 Parser (String resource)

各构造函数的具体用法及含义可以查看其代码，很容易理解。

Parser常用的几个方法：

elements获取元素

Parser parser = new Parser (”

for (NodeIterator i = parser.elements (); i.hasMoreElements (); )

processMyNodes (i.nextNode ());

parse (NodeFilter filter)：通过NodeFilter方式获取

visitAllNodesWith (NodeVisitor visitor)：通过Nodevisitor方式

extractAllNodesThatMatch (NodeFilter filter)：通过NodeFilter方式

3.2、org.htmlparser.beans

对Visitor和Filter的方法进行了封装，定义了针对一些常用html元素操作的bean，简化对常用元素的提取操作。

包括：FilterBean、HTMLLinkBean、HTMLTextBean、LinkBean、StringBean、BeanyBaby等。

3.3、org.htmlparser.nodes

定义了基础的node，包括：AbstractNode、RemarkNode、TagNode、TextNode等。

3.4、org.htmlparser.tags

定义了htmlparser的各种tag。

3.5、org.htmlparser.filters

定义了htmlparser所提供的各种filter，主要通过extractAllNodesThatMatch (NodeFilter filter)来对html页面指定类型的元素进行过滤，包括：AndFilter、CssSelectorNodeFilter、 HasAttributeFilter、HasChildFilter、HasParentFilter、HasSiblingFilter、 IsEqualFilter、LinkRegexFilter、LinkStringFilter、NodeClassFilter、 NotFilter、OrFilter、RegexFilter、StringFilter、TagNameFilter、XorFilter

3.6、org.htmlparser.visitors

定义了htmlparser所提供的各种visitor，主要通过visitAllNodesWith (NodeVisitor visitor)来对html页面元素进行遍历，包括：HtmlPage、LinkFindingVisitor、NodeVisitor、 ObjectFindingVisitor、StringFindingVisitor、TagFindingVisitor、 TextExtractingVisitor、UrlModifyingVisitor

3.7、org.htmlparser.parserapplications

定义了一些实用的工具，包括LinkExtractor、SiteCapturer、StringExtractor、WikiCapturer，这几个类也可以作为htmlparser使用样例。

3.8、org.htmlparser.tests

对各种功能的单元测试用例，也可以作为htmlparser使用的样例。

4、htmlparser的使用样例

import java.net.URL;

import junit.framework.TestCase;

import org.apache.log4j.Logger;

import org.htmlparser.Node;

import org.htmlparser.NodeFilter;

import org.htmlparser.Parser;

import org.htmlparser.Tag;

import org.htmlparser.beans.LinkBean;

import org.htmlparser.filters.NodeClassFilter;

import org.htmlparser.filters.OrFilter;

import org.htmlparser.filters.TagNameFilter;

import org.htmlparser.tags.HeadTag;

import org.htmlparser.tags.ImageTag;

import org.htmlparser.tags.InputTag;

import org.htmlparser.tags.LinkTag;

import org.htmlparser.tags.OptionTag;

import org.htmlparser.tags.SelectTag;

import org.htmlparser.tags.TableColumn;

import org.htmlparser.tags.TableRow;

import org.htmlparser.tags.TableTag;

import org.htmlparser.tags.TitleTag;

import org.htmlparser.util.NodeIterator;

import org.htmlparser.util.NodeList;

import org.htmlparser.util.ParserException;

import org.htmlparser.visitors.HtmlPage;

import org.htmlparser.visitors.NodeVisitor;

import org.htmlparser.visitors.ObjectFindingVisitor;

public class ParserTestCase extends TestCase {

private static final Logger logger = Logger.getLogger(ParserTestCase.class);

public ParserTestCase(String name) {

super(name);

}

* 测试ObjectFindVisitor的用法

public void testImageVisitor() {

try {

ImageTag imgLink;

ObjectFindingVisitor visitor = new ObjectFindingVisitor(

ImageTag.class);

Parser parser = new Parser();

parser.setURL(”

parser.setEncoding(parser.getEncoding());

parser.visitAllNodesWith(visitor);

Node[] nodes = visitor.getTags();

for (int i = 0; i < nodes.length; i++) {

imgLink = (ImageTag) nodes[i];

logger.fatal(”testImageVisitor() ImageURL = “

+ imgLink.getImageURL());

logger.fatal(”testImageVisitor() ImageLocation = “

+ imgLink.extractImageLocn());

logger.fatal(”testImageVisitor() SRC = “

+ imgLink.getAttribute(”SRC”));

}

catch (Exception e) {

e.printStackTrace();

}

* 测试TagNameFilter用法

public void testNodeFilter() {

try {

NodeFilter filter = new TagNameFilter(”IMG”);

Parser parser = new Parser();

parser.setURL(”

parser.setEncoding(parser.getEncoding());

NodeList list = parser.extractAllNodesThatMatch(filter);

for (int i = 0; i < list.size(); i++) {

logger.fatal(”testNodeFilter() ” + list.elementAt(i).toHtml());

}

} catch (Exception e) {

e.printStackTrace();

}

* 测试NodeClassFilter用法

public void testLinkTag() {

try {

NodeFilter filter = new NodeClassFilter(LinkTag.class);

Parser parser = new Parser();

parser.setURL(”

parser.setEncoding(parser.getEncoding());

NodeList list = parser.extractAllNodesThatMatch(filter);

for (int i = 0; i < list.size(); i++) {

LinkTag node = (LinkTag) list.elementAt(i);

logger.fatal(”testLinkTag() Link is :” + node.extractLink());

}

} catch (Exception e) {

e.printStackTrace();

}

* 测试<link href=” text=’text/css’ rel=’stylesheet’ />用法

public void testLinkCSS() {

try {

Parser parser = new Parser();

parser

.setInputHTML(”<head><title>Link Test</title>”

+ “<link href=’/test01/css.css’ text=’text/css’ rel=’stylesheet’ />”

+ “<link href=’/test02/css.css’ text=’text/css’ rel=’stylesheet’ />”

+ “</head>” + “<body>”);

parser.setEncoding(parser.getEncoding());

NodeList nodeList = null;

for (NodeIterator e = parser.elements(); e.hasMoreNodes();) {

Node node = e.nextNode();

logger

.fatal(”testLinkCSS()” + node.getText()

+ node.getClass());

}

} catch (Exception e) {

e.printStackTrace();

}

* 测试OrFilter的用法

public void testOrFilter() {

NodeFilter inputFilter = new NodeClassFilter(InputTag.class);

NodeFilter selectFilter = new NodeClassFilter(SelectTag.class);

Parser myParser;

NodeList nodeList = null;

try {

Parser parser = new Parser();

parser

.setInputHTML(”<head><title>OrFilter Test</title>”

+ “<link href=’/test01/css.css’ text=’text/css’ rel=’stylesheet’ />”

+ “<link href=’/test02/css.css’ text=’text/css’ rel=’stylesheet’ />”

+ “</head>”

+ “<body>”

+ “<input type=’text’ value=’text1′ name=’text1′/>”

+ “<input type=’text’ value=’text2′ name=’text2′/>”

+ “<select><option id=’1′>1</option><option id=’2′>2</option><option id=’3′></option></select>”

+ “<a href=’>yeeach.com</a>”

+ “</body>”);

parser.setEncoding(parser.getEncoding());

OrFilter lastFilter = new OrFilter();

lastFilter.setPredicates(new NodeFilter[] { selectFilter,

inputFilter });

nodeList = parser.parse(lastFilter);

for (int i = 0; i <= nodeList.size(); i++) {

if (nodeList.elementAt(i) instanceof InputTag) {

InputTag tag = (InputTag) nodeList.elementAt(i);

logger.fatal(”OrFilter tag name is :” + tag.getTagName()

+ ” ,tag value is:” + tag.getAttribute(”value”));

}

if (nodeList.elementAt(i) instanceof SelectTag) {

SelectTag tag = (SelectTag) nodeList.elementAt(i);

NodeList list = tag.getChildren();

for (int j = 0; j < list.size(); j++) {

OptionTag option = (OptionTag) list.elementAt(j);

logger

.fatal(”OrFilter Option”

+ option.getOptionText());

}

} catch (ParserException e) {

e.printStackTrace();

}

* 测试对<table><tr><td></td></tr></table>的解析

public void testTable() {

Parser myParser;

NodeList nodeList = null;

myParser = Parser.createParser(”<body> ” + “<table id=’table1′ >”

+ “<tr><td>1-11</td><td>1-12</td><td>1-13</td>”

+ “<tr><td>1-21</td><td>1-22</td><td>1-23</td>”

+ “<tr><td>1-31</td><td>1-32</td><td>1-33</td></table>”

+ “<table id=’table2′ >”

+ “<tr><td>2-11</td><td>2-12</td><td>2-13</td>”

+ “<tr><td>2-21</td><td>2-22</td><td>2-23</td>”

+ “<tr><td>2-31</td><td>2-32</td><td>2-33</td></table>”

+ “</body>”, “GBK”);

NodeFilter tableFilter = new NodeClassFilter(TableTag.class);

OrFilter lastFilter = new OrFilter();

lastFilter.setPredicates(new NodeFilter[] { tableFilter });

try {

nodeList = myParser.parse(lastFilter);

for (int i = 0; i <= nodeList.size(); i++) {

if (nodeList.elementAt(i) instanceof TableTag) {

TableTag tag = (TableTag) nodeList.elementAt(i);

TableRow[] rows = tag.getRows();

for (int j = 0; j < rows.length; j++) {

TableRow tr = (TableRow) rows[j];

TableColumn[] td = tr.getColumns();

for (int k = 0; k < td.length; k++) {

logger.fatal(”<td>” + td[k].toPlainTextString());

}

} catch (ParserException e) {

e.printStackTrace();

}

* 测试NodeVisitor的用法，遍历所有节点

public void testVisitorAll() {

try {

Parser parser = new Parser();

parser.setURL(”

parser.setEncoding(parser.getEncoding());

NodeVisitor visitor = new NodeVisitor() {

public void visitTag(Tag tag) {

logger.fatal(”testVisitorAll() Tag name is :”

+ tag.getTagName() + ” \n Class is :”

+ tag.getClass());

}

};

parser.visitAllNodesWith(visitor);

} catch (ParserException e) {

e.printStackTrace();

}

* 测试对指定Tag的NodeVisitor的用法

public void testTagVisitor() {

try {

Parser parser = new Parser(

“<head><title>dddd</title>”

+ “<link href=’/test01/css.css’ text=’text/css’ rel=’stylesheet’ />”

+ “<link href=’/test02/css.css’ text=’text/css’ rel=’stylesheet’ />”

+ “</head>” + “<body>”

+ “<a href=’>yeeach.com</a>”

+ “</body>”);

NodeVisitor visitor = new NodeVisitor() {

public void visitTag(Tag tag) {

if (tag instanceof HeadTag) {

logger.fatal(”visitTag() HeadTag : Tag name is :”

+ tag.getTagName() + ” \n Class is :”

+ tag.getClass() + “\n Text is :”

+ tag.getText());

} else if (tag instanceof TitleTag) {

logger.fatal(”visitTag() TitleTag : Tag name is :”

+ tag.getTagName() + ” \n Class is :”

+ tag.getClass() + “\n Text is :”

+ tag.getText());

} else if (tag instanceof LinkTag) {

logger.fatal(”visitTag() LinkTag : Tag name is :”

+ tag.getTagName() + ” \n Class is :”

+ tag.getClass() + “\n Text is :”

+ tag.getText() + ” \n getAttribute is :”

+ tag.getAttribute(”href”));

} else {

logger.fatal(”visitTag() : Tag name is :”

+ tag.getTagName() + ” \n Class is :”

+ tag.getClass() + “\n Text is :”

+ tag.getText());

}

};

parser.visitAllNodesWith(visitor);

} catch (Exception e) {

e.printStackTrace();

}

* 测试HtmlPage的用法

public void testHtmlPage() {

String inputHTML = “<html>” + “<head>”

+ “<title>Welcome to the HTMLParser website</title>”

+ “</head>” + “<body>” + “Welcome to HTMLParser”

+ “<table id=’table1′ >”

+ “<tr><td>1-11</td><td>1-12</td><td>1-13</td>”

+ “<tr><td>1-21</td><td>1-22</td><td>1-23</td>”

+ “<tr><td>1-31</td><td>1-32</td><td>1-33</td></table>”

+ “<table id=’table2′ >”

+ “<tr><td>2-11</td><td>2-12</td><td>2-13</td>”

+ “<tr><td>2-21</td><td>2-22</td><td>2-23</td>”

+ “<tr><td>2-31</td><td>2-32</td><td>2-33</td></table>”

+ “</body>” + “</html>”;

Parser parser = new Parser();

try {

parser.setInputHTML(inputHTML);

parser.setEncoding(parser.getURL());

HtmlPage page = new HtmlPage(parser);

parser.visitAllNodesWith(page);

logger.fatal(”testHtmlPage -title is :” + page.getTitle());

NodeList list = page.getBody();

for (NodeIterator iterator = list.elements(); iterator

.hasMoreNodes();) {

Node node = iterator.nextNode();

logger.fatal(”testHtmlPage -node is :” + node.toHtml());

}

} catch (ParserException e) {

// TODO Auto-generated catch block

e.printStackTrace();

}

* 测试LinkBean的用法

public void testLinkBean() {

Parser parser = new Parser();

LinkBean linkBean = new LinkBean();

linkBean.setURL(”

URL[] urls = linkBean.getLinks();

for (int i = 0; i < urls.length; i++) {

URL url = urls[i];

logger.fatal(”testLinkBean() -url is :” + url);

}

5、相关的项目

：评价比htmlparser好，把html正规化标准的xml文档，用xerces处理，但文档较少。

：网站采用的html解析器，开源了，基于mozilla的解析器，值得研究一下。

其他一些html parser可以参考相关的汇总文章：

6、参考文档

转载地址：http://gpifx.baihongyu.com/

你可能感兴趣的文章

java springcloud版b2b2c社交电商spring cloud分布式微服务（十五）Springboot整合RabbitMQ...

查看>>

SpringCloud使用Prometheus监控(基于Eureka)

Windwos Server 2008 R2 DHCP服务

俺的新书《Sencha Touch实战》终于出版了

查看>>

关于数据库查询时报“query block has incorrect number of result columns”

查看>>

li下的ul----多级列表

查看>>

UVa 11292 勇者斗恶龙(The Dragon of Loowater)