Python爬虫中为什么要使用Cookie呢?python爬虫之cookie使用方法

学习python爬虫的伙伴们都知道,Cookie它是用于服务器实现会话,用户登录及相关功能时进行状态管理,但是在python爬虫中为什么一定要使用cookie,面对这个问题,还是会有小伙伴不思其解,所以今天这篇文章主要介绍了Python爬虫中为什么要使用Cookie呢?python爬虫之cookie使用方法,感兴趣的小伙伴们可以参考一下 。

Python爬虫中为什么要使用Cookie呢?python爬虫之cookie使用方法

文章插图
为什么使用cookies?
使用它一般是为了方便某些网站去了解登录网站用户的信息,使用session进行跟踪,将终端的数据进行存储到用户的本地终端,这种方式经常是加密的,比如在我们访问某个网站的时候,必须要先进行登录操作,我们想对这个登录界面进行爬取数据是不可以的,通过cookies和Openner结合使用就可以达到这个目的 。
python爬虫之cookie使用方法
1、获取cookie保存到变量
【Python爬虫中为什么要使用Cookie呢?python爬虫之cookie使用方法】import urllib2import cookielibcookie = cookielib.CookieJar()handler=urllib2.HTTPCookieProcessor(cookie)opener = urllib2.build_opener(handler)response = opener.open('http://www.baidu.com')for item in cookie:print 'Name = '+item.nameprint 'Value = '+item.value在上面的代码中,主要的功能就是利用CookieJar这个对象去获取cookie,并将结果存储到变量中,在第三行代码中是先声明一个对象实例来保存cookie,利用urllib2库来创建cookie处理器 。第四行是通过handler来构建一个opener 。运行结果如下:
Name = BAIDUIDValue = B07B663B645729F11F659C02AAE65B4C:FG=1Name = BAIDUPSIDValue = B07B663B645729F11F659C02AAE65B4CName = H_PS_PSSIDValue = 12527_11076_1438_10633Name = BDSVRTMValue = 0Name = BD_HOMEValue = 02、保存Cookie到文件
上面的例子中,我们是将cookie保存到了cookie这个变量中,那么如何将cookies保存文件中呢,案例如下:
import cookielibimport urllib2filename = 'cookie.txt'cookie = cookielib.MozillaCookieJar(filename)handler = urllib2.HTTPCookieProcessor(cookie)opener = urllib2.build_opener(handler)response = opener.open("http://www.baidu.com")#保存cookie到文件cookie.save(ignore_discard=True, ignore_expires=True)代码中可以发现在这里使用了一个新的对象“FileCookieJar”,它是可以实现利用它的子类来对cookie进行保存,第三行代码是设置了一个保存cookie的文件,之后利用这个对象将实例来保存cookie,并且写入到文件中 。
有关Python爬虫中为什么要使用Cookie呢?python爬虫之cookie使用方法全部内容就讲解到这里了 。

    推荐阅读