学习python爬虫的伙伴们都知道,Cookie它是用于服务器实现会话,用户登录及相关功能时进行状态管理,但是在python爬虫中为什么一定要使用cookie,面对这个问题,还是会有小伙伴不思其解,所以今天这篇文章主要介绍了Python爬虫中为什么要使用Cookie呢?python爬虫之cookie使用方法,感兴趣的小伙伴们可以参考一下 。
文章插图
为什么使用cookies?
使用它一般是为了方便某些网站去了解登录网站用户的信息,使用session进行跟踪,将终端的数据进行存储到用户的本地终端,这种方式经常是加密的,比如在我们访问某个网站的时候,必须要先进行登录操作,我们想对这个登录界面进行爬取数据是不可以的,通过cookies和Openner结合使用就可以达到这个目的 。
python爬虫之cookie使用方法
1、获取cookie保存到变量
【Python爬虫中为什么要使用Cookie呢?python爬虫之cookie使用方法】import urllib2import cookielibcookie = cookielib.CookieJar()handler=urllib2.HTTPCookieProcessor(cookie)opener = urllib2.build_opener(handler)response = opener.open('http://www.baidu.com')for item in cookie:print 'Name = '+item.nameprint 'Value = '+item.value在上面的代码中,主要的功能就是利用CookieJar这个对象去获取cookie,并将结果存储到变量中,在第三行代码中是先声明一个对象实例来保存cookie,利用urllib2库来创建cookie处理器 。第四行是通过handler来构建一个opener 。运行结果如下:
Name = BAIDUIDValue = B07B663B645729F11F659C02AAE65B4C:FG=1Name = BAIDUPSIDValue = B07B663B645729F11F659C02AAE65B4CName = H_PS_PSSIDValue = 12527_11076_1438_10633Name = BDSVRTMValue = 0Name = BD_HOMEValue = 02、保存Cookie到文件
上面的例子中,我们是将cookie保存到了cookie这个变量中,那么如何将cookies保存文件中呢,案例如下:
import cookielibimport urllib2filename = 'cookie.txt'cookie = cookielib.MozillaCookieJar(filename)handler = urllib2.HTTPCookieProcessor(cookie)opener = urllib2.build_opener(handler)response = opener.open("http://www.baidu.com")#保存cookie到文件cookie.save(ignore_discard=True, ignore_expires=True)代码中可以发现在这里使用了一个新的对象“FileCookieJar”,它是可以实现利用它的子类来对cookie进行保存,第三行代码是设置了一个保存cookie的文件,之后利用这个对象将实例来保存cookie,并且写入到文件中 。
有关Python爬虫中为什么要使用Cookie呢?python爬虫之cookie使用方法全部内容就讲解到这里了 。
推荐阅读
- 什么是python的最短路径算法?python的最短路径算法有哪些?
- Python如何定义有默认参数的函数?python中有默认参数的函数如何定义?
- Python爬虫防封ip的一些技巧 python爬虫反爬措施方法
- 如何运用python读写CSV文件?python读取csv文件的操作方法
- Python如何在图片上添加文字?Python图片添加文字怎么做
- 学习Python爬虫的几点建议新手学习爬虫的技巧
- 怎样让python运行速度得到提升?python运行升速方法
- python中有哪些数据可以使用切片?python中可以进行切片的类型有哪些?
- python有哪些模块类型?python模块类型是什么?
- Python怎么用turtle模块画三角形?Python画三角形的代码是什么