当前位置:AIGC资讯 > 数据采集 > 正文

PHP中采集网页信息的几种方式

第一种,通过file_get_contents()函数获取网页内容,使用此方法,需在PHP的配置文件php.ini中将allow_url_fopen = On,user_agent="PHP",如若会产生错误,可通过ini_set()设置代理,或直接在配置文件中修改。此外还有一种隐蔽的错误,并不是你自己代码的问题,如你要获取20张图片,但是PHP报错“HTTP request failed! HTTP/1.1 404 Not Found”,数量为3次,此时是网站上没有相应的资源,在file_get_contents()函数前加错误抑制符“@”即可!@file_get_contents($val); 示例代码:

foreach($temp[2] as $key=>$val){
				$fileName = './public/img/'.time().'-'.rand(1000, 9999).'.jpg';

				ini_set('user_agent','Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727;)'); 
				$img = @file_get_contents($val);
				file_put_contents($fileName, $img);
			}

更新时间 2023-11-08