python爬取猫眼电影TOP100榜

python爬取猫眼电影TOP100榜

给大家演示下关于python爬取猫眼电影TOP100榜相关信息的实例,包含电影排名,电影名称,主演,上映时间,评分等信息,及讲解下爬取过程中遇到的相关知识点。
image.png
话不多说,直接上代码,欢迎指正:

import requests
import re
import csv,time

#创建一个保存的csv文件并设置好表头
timenow =time.strftime("%Y-%m-%d-%H%M%S", time.localtime())
file = '猫眼电影top100榜-%s.csv'% (timenow)
#写入表头
with open(file,'a+',encoding='gb18030', newline='') as f:
    writer_f = csv.writer(f)
    writer_f.writerow(['排名','电影名称','主演','上映时间','评分'])

#定义一个爬取其中一页的电影信息
def get_one_page(url):
    headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.80 Safari/537.36'}
    response=requests.get(url,headers=headers).text

    pattern=re.compile('<dd>.*?board-index.*?>(.*?)</i>.*?name.*?a.*?>(.*?)</a>.*?star.*?>(.*?)</p>.*?releasetime.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>',re.S)
    items=re.findall(pattern,response)
    #print(items)
    for item in items:
        pm=item[0]#电影排名
        mc=item[1]#电影名称
        zy=item[2].strip()#演员
        sj=item[3]#上映时间
        pf=item[4]+item[5]#评分
        print(pm,mc,zy,sj,pf)
        #写入到csv文件
        with open(file,'a+',encoding='gb18030',newline='') as f:
            writer = csv.writer(f)
            writer.writerow([pm,mc,zy,sj,pf])

#共有10个分页,分批写入   
for i in range(10):
    page=i*10
    url='https://maoyan.com/board/4?offset=' + str(page)
    get_one_page(url)
    #time.sleep(1)
print('下载完成!')

爬取结果:
image.png
知识点讲解:
这次爬取用到的是requests模块,重点在于电影排名,电影名称,主演,上映时间,评分的提取,查看源代码如下:
image.png
我这里用的是正则表达式来匹配,匹配代码如下:

'<dd>.*?board-index.*?>(.*?)</i>.*?name.*?a.*?>(.*?)</a>.*?star.*?>(.*?)</p>.*?releasetime.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>'

利用compile()方法将上面的正则字符串编译成正则表达式对象,再用findall()找到目标数据。

pattern=re.compile('<dd>.*?board-index.*?>(.*?)</i>.*?name.*?a.*?>(.*?)</a>.*?star.*?>(.*?)</p>.*?releasetime.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>',re.S)
items=re.findall(pattern,response)

image.png
最后取下一页的数据,总共10页,我们发现每页的网址规律如下:
第一页:https://maoyan.com/board/4?offset=0
第二页:https://maoyan.com/board/4?offset=10
第三页:https://maoyan.com/board/4?offset=20

代码如下,分页写入数据:

for i in range(10):
    page=i*10
    url='https://maoyan.com/board/4?offset=' + str(page)
    get_one_page(url)