如何批量提取本地HTML里的图片或图片超链接

发布网友发布时间：2022-04-29 01:48

我来回答

共3个回答

懂视网时间：2022-04-20 19:32

woody 是一款 Java 的HTML 解析/提取器，用法非常类似 webmagic, 是对其抽取模板完全重写，之所有单独提取出来是因为为来更好可重用。

一些新功能：

多种结果数据类型（String, char, byte, short int, long, double, float, string[], Set, List,Data）

支持用户之定义脚本处理函数（目前支持Javascript 函数配置处理）

支持css,xpath内核替换

支持filter功能

对css,xpath 内核对象的缓存

一个完整的例子：

public class OsChinaBlog {
	public static void main(String[] args) throws Exception {
		Document doc = Jsoup.connect("http://www.oschina.net/news/43879/webmagic-0-3-0").timeout(60000)
				.userAgent("Mozilla/5.0 (Macintosh; Intel Mac OS X 10.8; rv:23.0) Gecko/20100101 Firefox/23.0").get();
		String html = doc.html();
		OsChinaBlogModel model = AnnotationExtractor.me().process(html, OsChinaBlogModel.class);
		System.out.println(model.toJson());
	}

	public static class OsChinaBlogModel extends Model {

		public OsChinaBlogModel() {
			//use to reflect
		}

		@Inject
		@ComboExtract(value = { @ExtractBy(value = "h1.OSCTitle", type = ExprType.CSS),
				@ExtractBy(value = "//title/text()", type = ExprType.XPATH) }, op = OP.OR)
		public String title;

		@Inject
		@ExtractBy(value = "p.PubDate a[href~=http://my\.oschina\.net/]", type = ExprType.CSS)
		public String author;

		@Inject
		@ExtractBy(value = "发布于.\s*(\d+年\d+月\d+日)", type = ExprType.REGEX)
		public Date publishDate;

		@Inject
		@ComboExtract(value = {
				@ExtractBy(value = "p.PubDate", type = ExprType.CSS, setting = @Setting(outerHtml = true)),
				@ExtractBy(value = "(\d+)评", type = ExprType.REGEX) }, op = OP.AND)
		public int commentNum;

		@Inject
		@ExtractBy(value = "span#p_favor_count", type = ExprType.CSS, setting = @Setting(function = @Function(value = "replace", args = {
				"+", "" })))
		public int collectNum;

		@Inject
		@ComboExtract(value = {
				@ExtractBy(value = "p[id=userComments]", type = ExprType.CSS, setting = @Setting(outerHtml = true)),
				@ExtractBy(value = "p.TextContent", type = ExprType.CSS) }, op = OP.AND, multi = true)
		public List commentContents;

		@Inject
		@ExtractBy(value = "p[id=toolbar_wrapper]", setting = @Setting(fliters = { "b", "span" }), type = ExprType.CSS, impl = Document.class)
		public String weibo;

	}
}

【相关推荐】

1. 免费html在线视频教程

2. html开发手册

3. php.cn原创html5视频教程

热心网友时间：2022-04-20 16:40

用工具吧，比如offline explorer，只要设定好目标网站，下载哪些内容，下载到哪个层级，就可以等着收获了。

当然，工具对于带有程序（如ASP）的网页处理会有些问题，但对于HTML网页没问题。

供参考。追问这中工具只能把网站的HTML下载下来但显示不出HTML里面内容我已经试过好几个了没用

追答这个工具的设置很重要,比如哪些文件类型, 到第几层目录, 是否允许关联下载等. 因为我自己试过,下载一个以HTML页面为主的网站是没问题的.

如果还是出不来,可能会和网站有关

热心网友时间：2022-04-20 17:58

本地无解重下