import re  # 导入正则表达式模块
import random  # 导入随机数模块
import time  # 导入时间模块
import requests  # 导入请求模块
from bs4 import BeautifulSoup  # 导入BeautifulSoup模块用于解析HTML
import xlwt  # 导入xlwt模块用于操作Excel文件
from fake_useragent import UserAgent  # 导入UserAgent模块用于生成随机User-Agent

# 定义正则表达式模式
link_pattern = re.compile(r'<a href="(.*?)">')  # 匹配电影链接
title_pattern = re.compile(r'<span class="title">(.*)</span>')  # 匹配电影标题
rating_pattern = re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')  # 匹配评分
inq_pattern = re.compile(r'<span class="inq">(.*)</span>')  # 匹配概况


# 主函数
def main():
    base_url = "https://movie.douban.com/top250?start=%s&type="  # 豆瓣电影Top250的基础URL
    data_list = get_data(base_url)  # 获取数据列表
    save_path = "豆瓣电影榜单前Top100.xls"  # 保存路径
    save_data(data_list, save_path)  # 保存数据到Excel文件


# 爬取数据函数
def get_data(base_url):
    data_list = []  # 创建空列表用于存储数据
    user_agents = UserAgent()  # 创建UserAgent对象
    for i in range(0, 4):  # 循环4次，每页25部电影，总共爬取100部
        url = base_url % (i * 25)  # 构建完整的URL
        html = request_url(url, user_agents)  # 请求URL获取HTML内容
        soup = BeautifulSoup(html, "html.parser")  # 使用BeautifulSoup解析HTML
        for index, item in enumerate(soup.find_all('div', class_="item"), start=i * 25 + 1):  # 遍历每个电影条目
            data = [index]  # 创建空列表用于存储电影信息
            item = str(item)  # 转换为字符串方便处理
            link = re.findall(link_pattern, item)[0]  # 提取电影链接
            data.append(link)  # 添加电影链接到列表
            titles = re.findall(title_pattern, item)  # 提取电影标题
            data.append(titles[0] if len(titles) == 1 else titles[0])  # 添加电影标题到列表
            rating = re.findall(rating_pattern, item)[0]  # 提取评分
            data.append(rating)  # 添加评分到列表
            inq = re.findall(inq_pattern, item)  # 提取概况
            data.append(inq[0] if inq else "")  # 添加概况到列表，如果没有概况则为空字符串
            data_list.append(data)  # 将电影信息列表添加到总列表
        time.sleep(random.uniform(1, 3))  # 休眠1到3秒，防止访问频率过高被封IP
    return data_list  # 返回数据列表


# 发送请求时模拟的浏览器信息函数
def request_url(url, user_agent):
    headers = {'User-Agent': user_agent.random}  # 使用随机User-Agent头部
    try:
        response = requests.get(url, headers=headers, timeout=10)  # 发送请求
        response.raise_for_status()  # 检查请求是否成功
        return response.text  # 返回响应内容
    except requests.RequestException as e:
        print("Error: ", e)  # 打印错误信息
        return None  # 返回空值


# 打印数据函数
def save_data(data_list, save_path):
    print("Saving data...")  # 打印保存数据的提示信息
    workbook = xlwt.Workbook(encoding="utf-8", style_compression=0)  # 创建Excel工作簿
    sheet = workbook.add_sheet('豆瓣电影Top250', cell_overwrite_ok=True)  # 添加工作表
    columns = ("排名", "电影详情链接", "影片名称", "评分", "简介")  # 定义列名
    for i, column in enumerate(columns):  # 遍历列名列表
        sheet.write(0, i, column)  # 在第一行写入列名
    for i, data in enumerate(data_list):  # 遍历数据列表
        for j, item in enumerate(data):  # 遍历每个数据项
            sheet.write(i + 1, j, item)  # 写入数据到工作表
    workbook.save(save_path)  # 保存工作簿到文件


if __name__ == "__main__":  # 如果当前脚本被直接执行
    main()  # 调用主函数
    print("爬取完毕！")  # 打印爬取完毕的提示信息