Python 爬虫-Requests库入门

小程序：扫一扫查出行
【扫一扫了解最新限行尾号】
复制小程序

2017-07-25 10:38:30

response = requests.get(url, params=None, **kwargs)

url : 拟获取页面的url链接∙ params : url中的额外参数，字典或字节流格式，可选
params参数是字典或字节序列，作为参数增加到url中

kv = {'key1': 'value1', 'key2': 'value2'}

>>> r = requests.request('GET', 'http://python123.io/ws', params=kv)

>>> print(r.url)

http://python123.io/ws?key1=value1&key2=value2

**kwargs: 12个控制访问的参数

headers:字典，HTTP定制头

 hd = {'user‐agent': 'Chrome/10'}

 r = requests.request('POST', 'http://python123.io/ws', headers=hd)

timeout : 设定超时时间，秒为单位

 r = requests.request('GET', 'http://www.baidu.com', timeout=10)

proxies : 字典类型，设定访问代理服务器，可以增加登录认证

>>> pxs = { 'http': 'http://user:pass@10.10.10.1:1234'

'https': 'https://10.10.10.1:4321' }

>>> r = requests.request('GET', 'http://www.baidu.com', proxies=pxs)

使用举例：

import requests

# r：response 右侧get: requests

r = requests.get('http://jwc.seu.edu.cn/')

一、返回值Response对象的属性

二、爬取网页的通用代码框架

import requests

def gethtml(url):

    # 打开网页有风险，需要使用try-except语句进行风险控制

    try:

        r = requests.get(url)

        r.raise_for_status()   # 如果打开失败，则会抛出一个HttpError异常

        # encoding是从header中分析出来的编码方式，apparent_encoding是 从内容分析出的编码方式

        r.encoding=r.apparent_encoding

        return r.text

    except:

        print("打开失败")

三、requests库的方法和HTTP协议