请选择 进入手机版 | 继续访问电脑版

苏苏网赚论坛

 找回密码
 立即注册
查看: 28|回复: 0

爬虫抓取电商产品

[复制链接]
发表于 2019-6-21 13:51:27 | 显示全部楼层 |阅读模式
此文由河马IP代理转载

网站功能需要,要求抓取各大电商产品信息,尤其是产品价格信息

curl+phpQuery抓取静态网页中信息

最开始认为网页都是静态的,所以用curl访问网站,再用phpQuery抓取结果中的标签,便可以获得指定商品的价格信息。但是结果发现无法抓取出价格信息,只是把标签抓取出来而已,而标签内容是空的。

原因:目前几乎所有网站均为动态网站,所谓动态网站就是利用AJAX或javascript动态获得展示内容,再与静态页面结合产生网页内容。这相当于嵌套访问的过程,即在静态页面中,递归的访问另外一个服务器地址,获得相关信息,如产品的价格信息。

如何判断是静态网页还是动态网页

右键审查元素时,可以看到价格数值,但是右键查看网页源代码时,价格信息处却是空的。

chrome网络分析+curl抓取动态网页中信息

会点击chrome浏览器的F12,就能解决90%的爬虫问题,剩下的10%需要懂一点点脑子
两种

get:从指定的资源请求数据,在url中传递参数,不应该传递敏感信息

//url /test/demo_form.asp?name1=value1&name2=value2

post:向指定资源提交数据,在HTTP消息主体中传递参数,更安全

获取京东商品的价格信息

想获得京东商品的价格,以下图为例



首先定位该页面为动态页面

按F12重新载入页面,在network选项下逐条分析网络请求及其地址



可以分析出ajax请求的服务器地址,并且request的方式为GET



传递的所有参数已经列出,但我们并不需要那么多参数,从url中分析,仅仅需要商品id便可以获得价格信息



4.所以最终可以组合成向服务器发送的地址以及参数,利用curl便可以获得价格信息(curl默认以get方式进行连接),代码如下:

<?php

//header("content-Type: text/html; charset=gbk");

// create curl resource

$ch = curl_init();

// set url

curl_setopt($ch, CURLOPT_URL, "https://p.3.cn/prices/mgets?skuIds=J_25695630025");

//return the transfer as a string

curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);

// $output contains the output string

$output = curl_exec($ch);

//echo output

echo $output;

// close curl resource to free up system resources

curl_close($ch);  

?>

5.以上代码返回包含价格信息的json字符串

[{"op":"279.00","m":"499.00","tpp":"219.00","id":"J_25695630025","up":"tpp","p":"251.10"}]

获取本来生活商品的价格信息

获取本来生活商品信息步骤与获取京东商品差不多,只不过在分析请求时发现本来生活采用post方式,参数同样在url中可以找到:



网页编码

网页编码不对会显示乱码等,查看网页编码方式为在chrome的console下输入:

document.charset

PHP中指定编码的方式为

//gbk编码
<?php
header("content-Type: text/html; charset=gbk")
?>

gbk编码对中文支持,且phpQuery只能在gbk编码下获取到标签元素。
热帖推荐
回复

使用道具 举报

广告合作|最大的网赚客中文交流社区!七年老站!

GMT+8, 2019-7-19 09:35 , Processed in 0.072129 second(s), 23 queries , Gzip On.

Powered by Discuz! X3.1 VIP版

© 2012-2019 苏苏网赚论坛 版权所有 | 7年老品牌

快速回复 返回顶部 返回列表