首页 > php开发 > php curl模块模拟登录后采集页面实例

php curl模块模拟登录后采集页面实例

在php中curl模块是一个多线程的模块,他可以很方便的实现模拟登录,如post,get都可以,下面我来举一个实例利用curl模块模拟登录后采集页面程序.

今天接到的功课是从一个网站获取商品库存,但是这个网站需要登录,我用fsockopen传递了整个header头都没用,只能求助于curl了。

附带说一下curl模块的开启办法:

(1)从php目录下拷贝:libeay32.dll,ssleay32.dll 到windows目录下。

(2)打开php.ini,查找"extension_dir = xxxxx",确认后面的文件目录内有php_curl.dll文件。

(3)同样是php.ini,查找"extension=php_curl.dll",确认它没有被注释(前面没有';')。

(4)重启apache,如果使用curl_init();语句出现错误提示,则说明没有安装成功。

例,代码如下:

$curl = curl_init(); 
$cookie_jar = tempnam('./tmp','cookie'); 
curl_setopt($curl, CURLOPT_URL,'http://www.phprm.com/  checkUser.jsp');//这里写上处理登录的界面 
curl_setopt($curl, CURLOPT_POST, 1); 
$request = 'user=xxx&password=xxx'; 
curl_setopt($curl, CURLOPT_POSTFIELDS, $request);//传 递数据 
curl_setopt($curl, CURLOPT_COOKIEJAR, $cookie_jar);// 把返回来的cookie信息保存在$cookie_jar文件中 
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);//设定返回 的数据是否自动显示 
curl_setopt($curl, CURLOPT_HEADER, false);//设定是否显示头信 息 
curl_setopt($curl, CURLOPT_NOBODY, false);//设定是否输出页面 内容 
curl_exec($curl);//返回结果 
curl_close($curl); //关闭 
$curl2 = curl_init(); 
curl_setopt($curl2, CURLOPT_URL, 'http://www.phprm.com/ aaa.php');//登陆后要从哪个页面获取信息 
curl_setopt($curl2, CURLOPT_HEADER, false); 
curl_setopt($curl2, CURLOPT_RETURNTRANSFER, 1); 
curl_setopt($curl2, CURLOPT_COOKIEFILE, $cookie_jar); 
$content = curl_exec($curl2);

这样就把获得的数据作为字符串传递到$content了,然后对字符串进行处理,删掉没必要的部分,我只删除了页面前端没必要的部分,代码如下删除掉:

$content = strstr($orders,'<div class="products">');//查找首次出现 

<div class="products"> 

CURL参数详解:

bool curl_setopt (int ch, string option, mixed value)

curl_setopt()函数将为一个CURL会话设置选项,option参数是你想要的设置,value是这个选项给定的值。

下列选项的值将被作为长整形使用(在option参数中指定):

*CURLOPT_INFILESIZE: 当你上传一个文件到远程站点,这个选项告诉PHP你上传文件的大小。

*CURLOPT_VERBOSE: 如果你想CURL报告每一件意外的事情,设置这个选项为一个非零值。

*CURLOPT_HEADER: 如果你想把一个头包含在输出中,设置这个选项为一个非零值。

*CURLOPT_NOPROGRESS: 如果你不会PHP为CURL传输显示一个进程条,设置这个选项为一个非零值。

注意:PHP自动设置这个选项为非零值,你应该仅仅为了调试的目的来改变这个选项。

*CURLOPT_NOBODY: 如果你不想在输出中包含body部分,设置这个选项为一个非零值。

*CURLOPT_FAILONERROR: 如果你想让PHP在发生错误(HTTP代码返回大于等于300)时,不显示,设置这个选项为一人非零值。默认行为是返回一个正常页,忽略代码。

*CURLOPT_UPLOAD: 如果你想让PHP为上传做准备,设置这个选项为一个非零值。

*CURLOPT_POST: 如果你想PHP去做一个正规的HTTP POST,设置这个选项为一个非零值,这个POST是普通的 application/x-www-from-urlencoded 类型,多数被HTML表单使用。

*CURLOPT_FTPLISTONLY: 设置这个选项为非零值,PHP将列出FTP的目录名列表。

*CURLOPT_FTPAPPEND: 设置这个选项为一个非零值,PHP将应用远程文件代替覆盖它。

*CURLOPT_NETRC: 设置这个选项为一个非零值,PHP将在你的 ~./netrc 文件中查找你要建立连接的远程站点的用户名及密码。

*CURLOPT_FOLLOWLOCATION: 设置这个选项为一个非零值(象 "Location: ")的头,服务器会把它当做HTTP头的一部分发送(注意这是递归的,PHP将发送形如 "Location: "的头)。

*CURLOPT_PUT: 设置这个选项为一个非零值去用HTTP上传一个文件。要上传这个文件必须设置CURLOPT_INFILE和CURLOPT_INFILESIZE选项.

*CURLOPT_MUTE: 设置这个选项为一个非零值,PHP对于CURL函数将完全沉默。

*CURLOPT_TIMEOUT: 设置一个长整形数,作为最大延续多少秒。

*CURLOPT_LOW_SPEED_LIMIT: 设置一个长整形数,控制传送多少字节。

*CURLOPT_LOW_SPEED_TIME: 设置一个长整形数,控制多少秒传送CURLOPT_LOW_SPEED_LIMIT规定的字节数。

*CURLOPT_RESUME_FROM: 传递一个包含字节偏移地址的长整形参数,(你想转移到的开始表单)。

*CURLOPT_SSLVERSION: 传递一个包含SSL版本的长参数。默认PHP将被它自己努力的确定,在更多的安全中你必须手工设置。

*CURLOPT_TIMECONDITION: 传递一个长参数,指定怎么处理CURLOPT_TIMEVALUE参数。你可以设置这个参数为TIMECOND_IFMODSINCE 或 TIMECOND_ISUNMODSINCE。这仅用于HTTP。

*CURLOPT_TIMEVALUE: 传递一个从1970-1-1开始到现在的秒数。这个时间将被CURLOPT_TIMEVALUE选项作为指定值使用,或被默认TIMECOND_IFMODSINCE使用。

下列选项的值将被作为字符串: 

*CURLOPT_URL: 这是你想用PHP取回的URL地址。你也可以在用curl_init()函数初始化时设置这个选项。

*CURLOPT_USERPWD: 传递一个形如[username]:[password]风格的字符串,作用PHP去连接。

*CURLOPT_PROXYUSERPWD: 传递一个形如[username]:[password] 格式的字符串去连接HTTP代理。

*CURLOPT_RANGE: 传递一个你想指定的范围。它应该是"X-Y"格式,X或Y是被除外的。HTTP传送同样支持几个间隔,用逗句来分隔(X-Y,N-M)。

*CURLOPT_POSTFIELDS: 传递一个作为HTTP "POST"操作的所有数据的字符串。

*CURLOPT_REFERER: 在HTTP请求中包含一个"referer"头的字符串。

*CURLOPT_USERAGENT: 在HTTP请求中包含一个"user-agent"头的字符串。

*CURLOPT_FTPPORT: 传递一个包含被ftp "POST"指令使用的IP地址。这个POST指令告诉远程服务器去连接我们指定的IP地址。这个字符串可以是一个IP地址,一个主机名,一个网络界面名(在UNIX下),或是&lsquo;-&rsquo;(使用系统默认IP地址)。

*CURLOPT_COOKIE: 传递一个包含HTTP cookie的头连接。

*CURLOPT_SSLCERT: 传递一个包含PEM格式证书的字符串。

*CURLOPT_SSLCERTPASSWD: 传递一个包含使用CURLOPT_SSLCERT证书必需的密码。

*CURLOPT_COOKIEFILE: 传递一个包含cookie数据的文件的名字的字符串。这个cookie文件可以是Netscape格式,或是堆存在文件中的HTTP风格的头。

*CURLOPT_CUSTOMREQUEST: 当进行HTTP请求时,传递一个字符被GET或HEAD使用。为进行DELETE或其它操作是有益的,更Pass a string to be used instead of GET or HEAD when doing an HTTP request. This is useful for doing or another, more obscure, HTTP request.

注意:在确认你的服务器支持命令先不要去这样做。

下列的选项要求一个文件描述(通过使用fopen()函数获得):

*CURLOPT_FILE: 这个文件将是你放置传送的输出文件,默认是STDOUT.

*CURLOPT_INFILE: 这个文件是你传送过来的输入文件。

*CURLOPT_WRITEHEADER: 这个文件写有你输出的头部分。

*CURLOPT_STDERR: 这个文件写有错误而不是stderr。


教程地址:http://www.phprm.com/develop/fs1164.html

欢迎转载!但请带上文章地址^^

标签:模拟 curl 模块 采集页面

相关文章

发表留言