Jsoup 抓取 网页子元素内指定内容(网易评论),谢谢

发布网友 发布时间：2022-04-24 04:57

我来回答

共2个回答

热心网友 时间：2022-04-21 04:43

看了一下，这个我会

import java.io.IOException;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;


public class NewsComments {

   
    public static void main(String[] args) throws IOException {
        // TODO Auto-generated method stub
        Document doc = Jsoup.connect("

).userAgent("Mozilla/5.0 (Windows NT 6.1; rv:22.0) Gecko/20100101 Firefox/22.0").ignoreContentType(true).timeout(30000).get();
        System.out.println(doc.text());
    }

}

得到结果：

var replyData={"buildPosts":null,"hotPosts":[{"1":{"f":"网易河北省邢台市网友 ip：60.6.*.*：<\/span>","d":"8HEQ6SLP008535RB","b":"感谢周教授！让人着迷、让人向往，期待更多关于您的课程！","a":"0","n":"xhsdxdh@163.com","l"  。。。。

用正则解析一下结果就出来了，关键是我那个url，比较一下和你的有什么不同，你就明白了。

给你用正则解析了一下：

发现上面只取得了一部分，还有下面最新的评论是用下在这个url：

http://comment.v.163.com/cache/newlist/video_bbs/SPEC00858H8GCFPT_1.html

其它代码一样，GOOD LUCK!

追答有两个网址，网页上有两部分评论。看代码看出来的

热心网友 时间：2022-04-21 06:01

关于这点，jsonp是做不到的。jsonp的返回内容必须是一段可执行的js脚本。而你现在要获取的资源显然不是。

实现抓取跨域网页内容的最好办法还是增加一个中间代理。你的页面发起ajax或者jsonp请求这个中间代理，中间代理通过UrlConnection获取网易的页面资源，然后返回给你自己的请求页面，然后解析这些数据。
ajax|jsonp|iframe urlconnection
your page <---------------------> proxy<--------------------->www.163.com
163.com resource 163.com resource