第一步:用jsoup进行请求,获取一个response对象,不懂请求的可以参考前几篇经验,代码如下:Connection.Response response = Jsoup.connect("http://127.0.0.1:8039/test/login.html") .method(Connection.Method.GET).execute();
第二步:response的Document对象,这个Document对象很明显就是网页的Document,这个就是直接提取里面的文本,执行js,类似于jquery,代码如下:Document doc = response.parse();System.out.println(doc.toString());
第三步:response的String对象,这个String就是一个单纯的字符串,和普通的字符串一样,不能进行dom操作,代码如下:String s = response.body();System.out.println(s);
第四步:response的stream对象,这个是一个流,在很程序解析的过程中,有时候需要用流进行操作,代码如下:try(BufferedInputStream bufferedInput = response.bodyStream()){ byte[] buffer = new byte; int bytesRead = 0; while ((bytesRead = bufferedInput.read(buffer)) != -1) { String chunk = new String(buffer, 0, bytesRead); System.out.print(chunk); }}
第五步:response的byte对象,这个byte字节,代码如下:byte[] bytes = res.bodyAsBytes();System.out.println(new String(bytes));
第六步:获取一些其他信息,状态码和信息,代码如下:int code = res.statusCode();String msg = res.statusMessage();System.out.println("code = " + code + ", msg = " + msg);
标签:爬虫,java,jsoup