Java爬虫 动态页面
发布网友
发布时间:2022-04-29 19:47
我来回答
共2个回答
热心网友
时间:2022-04-21 07:34
1. 先使用如下方式抓取页面内容
URL url = new URL("http://k.autohome.com.cn/spec/13661/view_449342_1.html");
Object o = url.getContent();
URLConnection uc = url.openConnection();
InputStream in = uc.getInputStream();
in = new BufferedInputStream(in);
// chain the InputStream to a Reader
Reader r = new InputStreamReader(in);
int c;
while ((c = r.read()) != -1)
{
System.out.print((char) c);
}
2.根据抓取到的字符串内容做文本查找(根据html标签的特征)追问你这个方法抓静态的可以 我问这个是动态的 还有别的办法么
热心网友
时间:2022-04-21 08:52
用nodejs+puppeteer,解析dom结构获取,或者直接观察返回数据的接口,看能不能直接调用