python爬虫抓取东方财富股吧(Python爬虫数据抓取)

【一、项目背景】

百度贴吧是全球最大的中文交流平台，你是否跟我一样，有时候看到评论区的图片想下载呢？或者看到一段视频想进行下载呢？

今天，小编带大家通过搜索关键字来获取评论区的图片和视频。

【二、项目目标】

实现把贴吧获取的图片或视频保存在一个文件。

【三、涉及的库和网站】

1、网址如下：

https://tieba.baidu.com/f?ie=utf-8&kw=吴京&fr=search

2、涉及的库：requests、lxml、****urrilb

【四、项目分析】

1、反爬措施的处理

前期测试时发现，该网站反爬虫处理措施很多，测试到有以下几个：

直接使用requests库，在不设置任何header的情况下，网站直接不返回数据。
同一个ip连续访问40多次，直接封掉ip，起初我的ip就是这样被封掉的。

为了解决这两个问题，最后经过研究，使用以下方法，可以有效解决。

获取正常的 http请求头，并在requests请求时设置这些常规的http请求头。

2、如何实现搜索关键字?

通过网址我们可以发现只需要在kw=() ，括号中输入你要搜索的内容即可。这样就可以用一个{}来替代它，后面我们在通过循环遍历它。

【五、项目实施】

1、创建一个名为BaiduImageSpider的类，定义一个主方法main和初始化方法init。导入需要的库。

import requests\nfrom lxml import etree\nfrom urllib import parse\nclass BaiduImageSpider(object):\n def __init__(self, tieba_name):\n pass\n def main(self):\n pass\nif __name__ == '__main__':\n inout_word = input("请输入你要查询的信息:")\n\n spider.main()\n pass\nif __name__ == '__main__':\n spider= ImageSpider()\n spider.main()\n

2、准备url地址和请求头headers 请求数据。

import requests\nfrom lxml import etree\nfrom urllib import parse\nclass BaiduImageSpider(object):\n def __init__(self, tieba_name):\n self.tieba_name = tieba_name #输入的名字\n self.url = "http://tieba.baidu.com/f?kw={}&ie=utf-8&pn=0"\n self.headers = {\n 'User-Agent': 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; InfoPath.3)'\n }\n\n '''发送请求获取响应'''\n def get_parse_page(self, url, xpath):\n html = requests.get(url=url, headers=self.headers).content.decode("utf-8")\n parse_html = etree.HTML(html)\n r_list = parse_html.xpath(xpath)\n return r_list\n def main(self):\n url = self.url.format(self.tieba_name)\nif __name__ == '__main__':\n inout_word = input("请输入你要查询的信息:")\n key_word = parse.quote(inout_word)\n spider = BaiduImageSpider(key_word)\n spider.main()\n

3、用xpath进行数据分析

3.1、chrome_Xpath插件安装

这里用到一个插件。能够快速检验我们爬取的信息是否正确。具体安装方法如下。
百度下载chrome_Xpath_v2.0.2.crx， chrome浏览器输入：chrome://extensions/

直接将chrome_Xpath_v2.0.2.crx拖动至该扩展程序页面；
如果安装失败，弹框提示“无法从该网站添加应用、扩展程序和用户脚本”，遇到这个问题，解决方法是：打开开发者模式，将crx文件（直接或后缀修改为rar）并解压成文件夹，点击开发者模式的加载已解压的扩展程序，选择解压后的文件夹，点击确定，安装成功；

3.2、chrome_Xpath插件使用

上面我们已经安装好了chrome_Xpath插件，接下来我们即将使用它。

打开浏览器，按下快捷键F12 。
选择元素，如下图所示。

右键，然后选择，“Copy XPath”，如下图所示。

3.3、编写代码，获取链接函数。

上面我们已经获取到链接函数的Xpath路径，接下来定义一个获取链接函数get_tlink，并继承self，实现多页抓取。

'''获取链接函数'''\n\n def get_tlink(self, url):\n xpath = '//div[@class="threadlist_lz clearfix"]/div/a/@href'\n t_list = self.get_parse_page(url, xpath)\n # print(len(t_list))\n for t in t_list:\n t_link = "http://www.tieba.com" + t\n '''接下来对帖子地址发送请求将保存到本地'''\n self.write_image(t_link)\n

4、保存数据

这里定义一个write_image方法来保存数据，如下所示。

'''保存到本地函数'''\n\ndef write_image(self, t_link):\n xpath = "//div[@class='d_post_content j_d_post_content clearfix']/img[@class='BDE_Image']/@src | //div[@class='video_src_wrapper']/embed/@data-video"\n img_list = self.get_parse_page(t_link, xpath) \n for img_link in img_list: \n html = requests.get(url=img_link, headers=self.headers).content\n filename = "百度/"+img_link[-10:]\n \n with open(filename, 'wb') as f:\n f.write(html)\n print("%s下载成功" % filename)\n

注：@data-video是网址中的视频，如下图所示。