|
|
import os
|
|
|
import re
|
|
|
import time
|
|
|
from wsgiref import headers
|
|
|
import requests # 导入requests库，用于发送HTTP请求
|
|
|
from bs4 import BeautifulSoup # 导入BeautifulSoup库，用于解析HTML
|
|
|
from fake_useragent import UserAgent # 导入UserAgent，用于生成随机的User-Agent
|
|
|
from openpyxl import Workbook, load_workbook # 导入openpyxl库，用于操作Excel文件
|
|
|
|
|
|
# 定义一个函数，用于获取单个页面的电影列表
|
|
|
def getonepagelist(url, headers):
|
|
|
try:
|
|
|
# 发送HTTP GET请求
|
|
|
r = requests.get(url, headers=headers, timeout=10)
|
|
|
r.raise_for_status() # 如果响应状态码不是200，则抛出异常
|
|
|
r.encoding = 'utf-8' # 设置响应内容的编码为utf-8
|
|
|
soup = BeautifulSoup(r.text, 'html.parser') # 使用BeautifulSoup解析HTML
|
|
|
lsts = soup.find_all(attrs={'class': 'hd'}) # 查找所有class为'hd'的元素，即电影列表项
|
|
|
# 遍历电影列表项
|
|
|
for lst in lsts:
|
|
|
href = lst.a['href'] # 获取电影详情页链接
|
|
|
# 从 BeautifulSoup 解析出的 HTML 元素 lst 中提取链接地址。lst.a 选择了 lst 元素内的 <a> 标签，
|
|
|
# 而 ['href'] 则提取了该 <a> 标签的 href 属性，即链接地址。这样，变量 href 就存储了提取出的链接地址。
|
|
|
time.sleep(0.5) # 休眠0.5秒，防止访问频率过高被封IP
|
|
|
getfilminfo(href, headers)
|
|
|
except: # 捕获所有异常
|
|
|
print('getonepagelist error!') # 打印错误信息
|
|
|
|
|
|
# 定义一个函数，用于获取电影详情信息
|
|
|
#注意国家/地区的处理，为了数据分析更方便，这里时长只取电影的第一个时长（部分电影有多个时长）
|
|
|
def getfilminfo(url, headers):
|
|
|
filminfo = [] # 初始化电影信息列表
|
|
|
r = requests.get(url, headers=headers, timeout=10) # 发送HTTP GET请求
|
|
|
r.raise_for_status() # 如果响应状态码不是200，则抛出异常
|
|
|
r.encoding = 'utf-8' # 设置响应内容的编码为utf-8
|
|
|
soup = BeautifulSoup(r.text, 'html.parser') # 使用BeautifulSoup解析HTML
|
|
|
# 获取电影名称
|
|
|
# 使用 BeautifulSoup 的 find 方法来找到 HTML 标签中 property 属性为 'v:itemreviewed' 的元素，通常这个元素包含电影的名称。
|
|
|
# 然后通过 .text 获取其文本内容，并使用 split(' ') 将名称以空格分割成列表，取列表的第一个元素即为电影名称。
|
|
|
name = soup.find(attrs={'property': 'v:itemreviewed'}).text.split(' ')[0]
|
|
|
# 获取上映年份
|
|
|
# 找到 HTML 标签中 class 属性为 'year' 的元素，通常包含电影的上映年份。然后使用 .text 获取文本内容，并通过 replace 方法去掉括号。
|
|
|
year = soup.find(attrs={'class': 'year'}).text.replace('(', '').replace(')', '')
|
|
|
# 获取评分
|
|
|
# 找到 HTML 标签中 property 属性为 'v:average' 的元素，通常包含电影的评分。
|
|
|
score = soup.find(attrs={'property': 'v:average'}).text
|
|
|
# 获取评价人数
|
|
|
# 找到 HTML 标签中 property 属性为 'v:votes' 的元素，通常包含电影的评价人数。
|
|
|
votes = soup.find(attrs={'property': 'v:votes'}).text
|
|
|
infos = soup.find(attrs={'id': 'info'}).text.split('\n')[1:11] # 获取电影详细信息
|
|
|
# 获取导演、编剧、主演、类型、国家/地区、语言等信息
|
|
|
# 通过列表切片和字符串处理，提取了导演、编剧、主演、类型、国家/地区等信息。
|
|
|
director = infos[0].split(': ')[1]
|
|
|
scriptwriter = infos[1].split(': ')[1]
|
|
|
actor = infos[2].split(': ')[1]
|
|
|
filmtype = infos[3].split(': ')[1]
|
|
|
area = infos[4].split(': ')[1]
|
|
|
# 用来处理国家/地区和语言信息的格式，因为有时候这些信息会以字符串列表的形式呈现，需要进行额外的处理。
|
|
|
if '.' in area: # 处理国家/地区和语言的格式
|
|
|
area = infos[5].split(': ')[1].split(' / ')[0]
|
|
|
language = infos[6].split(': ')[1].split(' / ')[0]
|
|
|
else:
|
|
|
area = infos[4].split(': ')[1].split(' / ')[0]
|
|
|
language = infos[5].split(': ')[1].split(' / ')[0]
|
|
|
|
|
|
# 对国家/地区进行处理
|
|
|
if '大陆' in area or '香港' in area or '台湾' in area:
|
|
|
area = '中国'
|
|
|
if '戛纳' in area:
|
|
|
area = '法国'
|
|
|
# 获取电影时长
|
|
|
# 到 HTML 标签中 property 属性为 'v:runtime' 的元素，通常包含电影的时长。然后使用正则表达式 re.findall('\\d+', times0)
|
|
|
# 找到文本中的数字部分，并取第一个数字，即电影的时长。
|
|
|
times0 = soup.find(attrs={'property': 'v:runtime'}).text
|
|
|
times = re.findall('\\d+', times0)[0]
|
|
|
# 将获取的信息添加到电影信息列表中
|
|
|
filminfo.append(name)
|
|
|
filminfo.append(year)
|
|
|
filminfo.append(score)
|
|
|
filminfo.append(votes)
|
|
|
filminfo.append(director)
|
|
|
filminfo.append(scriptwriter)
|
|
|
filminfo.append(actor)
|
|
|
filminfo.append(filmtype)
|
|
|
filminfo.append(area)
|
|
|
filminfo.append(language)
|
|
|
filminfo.append(times)
|
|
|
filepath = 'TOP250.xlsx' # Excel文件路径
|
|
|
insert2excel(filepath, filminfo) # 将电影信息插入到Excel文件中
|
|
|
|
|
|
# 定义一个函数，用于将电影信息插入到Excel文件中
|
|
|
# 这里我们使用openpyxl将数据保存到Excel中
|
|
|
def insert2excel(filepath, allinfo):
|
|
|
try:
|
|
|
if not os.path.exists(filepath): # 如果Excel文件不存在，则创建一个新的文件并添加表头
|
|
|
tableTitle = ['片名', '上映年份', '评分', '评价人数', '导演', '编剧', '主演', '类型', '国家/地区', '语言', '时长(分钟)']
|
|
|
wb = Workbook() # 创建一个Workbook对象
|
|
|
ws = wb.active # 获取当前活动的工作表
|
|
|
ws.title = 'sheet1' # 设置工作表的标题为'sheet1'
|
|
|
ws.append(tableTitle) # 添加表头
|
|
|
wb.save(filepath) # 保存Excel文件
|
|
|
time.sleep(3) # 休眠3秒
|
|
|
wb = load_workbook(filepath) # 加载Excel文件
|
|
|
ws = wb.active # 获取当前活动的工作表
|
|
|
ws.title = 'sheet1' # 设置工作表的标题为'sheet1'
|
|
|
ws.append(allinfo) # 添加电影信息
|
|
|
wb.save(filepath) # 保存Excel文件
|
|
|
return True # 返回True，表示插入成功
|
|
|
except:
|
|
|
return False # 返回False，表示插入失败
|
|
|
|
|
|
# 遍历爬取前11页的电影信息
|
|
|
for i in range(11):
|
|
|
print(f'正在爬取第{i}页,请稍等...')
|
|
|
url = 'https://movie.douban.com/top250?start={}&filter='.format(i * 25) # 构造URL
|
|
|
headers = {
|
|
|
'User-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/1'
|
|
|
} # 构造HTTP请求头部信息
|
|
|
getonepagelist(url, headers) # 调用函数获取电影列表
|
|
|
|
