python

超轻量级php框架startmvc

Python多线程爬取豆瓣影评API接口

更新时间:2020-08-03 21:18:01 作者:startmvc
爬虫库使用简单的requests库,这是一个阻塞的库,速度比较慢。解析使用XPATH表达式总体采

爬虫库

使用简单的requests库,这是一个阻塞的库,速度比较慢。

解析使用XPATH表达式

总体采用类的形式

多线程

使用concurrent.future并发模块,建立线程池,把future对象扔进去执行即可实现并发爬取效果

数据存储

使用Python ORM sqlalchemy保存到数据库,也可以使用自带的csv模块存在CSV中。

API接口

因为API接口存在数据保护情况,一个电影的每一个分类只能抓取前25页,全部评论、好评、中评、差评所有分类能爬100页,每页有20个数据,即最多为两千条数据。

因为时效性原因,不保证代码能爬到数据,只是给大家一个参考思路,上代码:


from datetime import datetime
import random
import csv
from concurrent.futures import ThreadPoolExecutor, as_completed

from lxml import etree
import pymysql
import requests

from models import create_session, Comments

#随机UA
USERAGENT = [
 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1',
 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36',
 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0',
 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50',
 'Opera/9.80 (Windows NT 6.1; U; zh-cn) Presto/2.9.168 Version/11.50',
 'Mozilla/5.0 (Windows; U; Windows NT 6.1; ) AppleWebKit/534.12 (KHTML, like Gecko) Maxthon/3.0 Safari/534.12'
]


class CommentFetcher:
 headers = {'User-Agent': ''}
 cookie = ''
 cookies = {'cookie': cookie}
 # cookie为登录后的cookie,需要自行复制
 base_node = '//div[@class="comment-item"]'


 def __init__(self, movie_id, start, type=''):
 '''
 :type: 全部评论:'', 好评:h 中评:m 差评:l
 :movie_id: 影片的ID号
 :start: 开始的记录数,0-480
 '''
 self.movie_id = movie_id
 self.start = start
 self.type = type
 self.url = 'https://movie.douban.com/subject/{id}/comments?start={start}&limit=20&sort=new_score\&status=P&percent_type={type}&comments_only=1'.format(
 id=str(self.movie_id),
 start=str(self.start),
 type=self.type
 )
 #创建数据库连接
 self.session = create_session()

 #随机useragent
 def _random_UA(self):
 self.headers['User-Agent'] = random.choice(USERAGENT)


 #获取api接口,使用get方法,返回的数据为json数据,需要提取里面的HTML
 def _get(self):
 self._random_UA()
 res = ''
 try:
 res = requests.get(self.url, cookies=self.cookies, headers=self.headers)
 res = res.json()['html']
 except Exception as e:
 print('IP被封,请使用代理IP')
 print('正在获取{} 开始的记录'.format(self.start))
 return res

 def _parse(self):
 res = self._get()
 dom = etree.HTML(res)

 #id号
 self.id = dom.xpath(self.base_node + '/@data-cid')
 #用户名
 self.username = dom.xpath(self.base_node + '/div[@class="avatar"]/a/@title')
 #用户连接
 self.user_center = dom.xpath(self.base_node + '/div[@class="avatar"]/a/@href')
 #点赞数
 self.vote = dom.xpath(self.base_node + '//span[@class="votes"]/text()')
 #星级
 self.star = dom.xpath(self.base_node + '//span[contains(@class,"rating")]/@title')
 #发表时间
 self.time = dom.xpath(self.base_node + '//span[@class="comment-time "]/@title')
 #评论内容 所有span标签class名为short的节点文本
 self.content = dom.xpath(self.base_node + '//span[@class="short"]/text()')

 #保存到数据库
 def save_to_database(self):
 self._parse()
 for i in range(len(self.id)):
 try:
 comment = Comments(
 id=int(self.id[i]),
 username=self.username[i],
 user_center=self.user_center[i],
 vote=int(self.vote[i]),
 star=self.star[i],
 time=datetime.strptime(self.time[i], '%Y-%m-%d %H:%M:%S'),
 content=self.content[i]
 )

 self.session.add(comment)
 self.session.commit()
 return 'finish'


 except pymysql.err.IntegrityError as e:
 print('数据重复,不做任何处理')

 except Exception as e:
 #数据添加错误,回滚
 self.session.rollback()

 finally:
 #关闭数据库连接
 self.session.close()

 #保存到csv
 def save_to_csv(self):
 self._parse()
 f = open('comment.csv', 'w', encoding='utf-8')
 csv_in = csv.writer(f, dialect='excel')
 for i in range(len(self.id)):
 csv_in.writerow([
 int(self.id[i]),
 self.username[i],
 self.user_center[i],
 int(self.vote[i]),
 self.time[i],
 self.content[i]
 ])
 f.close()


if __name__ == '__main__':
 with ThreadPoolExecutor(max_workers=4) as executor:
 futures = []
 for i in ['', 'h', 'm', 'l']:
 for j in range(25):
 fetcher = CommentFetcher(movie_id=26266893, start=j * 20, type=i)
 futures.append(executor.submit(fetcher.save_to_csv))

 for f in as_completed(futures):
 try:
 res = f.done()
 if res:
 ret_data = f.result()
 if ret_data == 'finish':
 print('{} 成功保存数据'.format(str(f)))
 except Exception as e:
 f.cancel()

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。