爬虫简单架构

跟着北大理工的老师学习爬虫!

一口吃不成胖子

冲鸭!fighting!!!!!!!!

import requests
def getHTMLText(url):
  try:
    r=requests.get(url,timeout=30)
    #构造一个向服务器请求资源的request对象
    #返回一个包含服务器资源的response对象
    r.raise_for_status()
    #如果状态不是200,引发HTTPError异常
    r.encoding=r.apparent_encoding
    return r.text
  except:
    return '产生异常'
if __name__=='__main__':
  url='http://www.baidu.com'
  print(getHTMLText(url))

解释:

requests库简单、方便,可以说是爬虫最棒的第三方库

requests库主要有7个方法

1、requests.request():构造一个请求,支撑一下各方法的基础方法

2、requests.get():获取HTML网页的主要方法,对应于HTTP的GET

3、requests.head():获取HTML网页头信息的主要方法,对应于HTTP的HEAD

4、requests.post():向HTML网页提交post请求的方法,对应于HTTP的POST

5、requests.out():向HTML网页提交put请求的方法,对应于HTTP的PUT

6、requests.patch():向HTML网页提交局部修改的请求,对应于HTTP的PATCH

7、requests.delete():向HTML网页提交删除请求,对应于HTTP的DELETE

重点分析:

r=requests.get(url)

构造一个向服务器请求资源的request对象

返回一个包含服务器资源的response对象

response对象的属性:

r.status_code:HTTP请求返回的状态,比如200代表ok

r.text:HTTP响应内容的字符串形式,即url对应的页面内容

r.encoding:从HTTP header 中猜测的响应内容的编码方式

r.apparent_encoding:从内容中解析处响应内容的编码方式(备选编码方式)

r.content:HTTP相应内容的二进制形式

r.raise_for_status():如果不是200,产生异常requests.HTTPError