当前位置:去回答>生活百科>java爬虫系列:怎么用jsoup进行爬虫开发?(4)

java爬虫系列:怎么用jsoup进行爬虫开发?(4)

2024-10-10 18:08:00 编辑:join 浏览量:595

java爬虫系列:怎么用jsoup进行爬虫开发?(4)

第一步:用jsoup进行请求,获取一个response对象,不懂请求的可以参考前几篇经验,代码如下:Connection.Response response = Jsoup.connect("http://127.0.0.1:8039/test/login.html") .method(Connection.Method.GET).execute();

第二步:response的Document对象,这个Document对象很明显就是网页的Document,这个就是直接提取里面的文本,执行js,类似于jquery,代码如下:Document doc = response.parse();System.out.println(doc.toString());

第三步:response的String对象,这个String就是一个单纯的字符串,和普通的字符串一样,不能进行dom操作,代码如下:String s = response.body();System.out.println(s);

第四步:response的stream对象,这个是一个流,在很程序解析的过程中,有时候需要用流进行操作,代码如下:try(BufferedInputStream bufferedInput = response.bodyStream()){ byte[] buffer = new byte; int bytesRead = 0; while ((bytesRead = bufferedInput.read(buffer)) != -1) { String chunk = new String(buffer, 0, bytesRead); System.out.print(chunk); }}

第五步:response的byte对象,这个byte字节,代码如下:byte[] bytes = res.bodyAsBytes();System.out.println(new String(bytes));

第六步:获取一些其他信息,状态码和信息,代码如下:int code = res.statusCode();String msg = res.statusMessage();System.out.println("code = " + code + ", msg = " + msg);

标签:爬虫,java,jsoup

版权声明:文章由 去回答 整理收集,来源于互联网或者用户投稿,如有侵权,请联系我们,我们会立即处理。如转载请保留本文链接:https://www.quhuida.com/life/295099.html
热门文章