"""
检查 sitemap 文件收集子域名
"""
from client.subdomain.oneforall.common.module import Module
from client.subdomain.oneforall.common import utils


class CheckSitemap(Module):
    """
    检查 sitemap 文件收集子域名
    """
    def __init__(self, domain):
        """
        初始化 CheckSitemap 类

        :param domain: 目标域名
        """
        Module.__init__(self)  # 调用父类 Module 的初始化方法
        self.domain = self.register(domain)  # 注册域名
        self.module = 'Check'  # 模块名称
        self.source = 'Sitemap'  # 数据源标识

    def check(self):
        """
        访问不同格式的 sitemap 文件并匹配子域名
        """
        # 可能的 sitemap 文件 URL 列表，包括 XML, TXT, HTML 格式等
        urls = [f'http://{self.domain}/sitemap.xml', f'https://{self.domain}/sitemap.xml',
                f'http://www.{self.domain}/sitemap.xml', f'https://www.{self.domain}/sitemap.xml',
                f'http://{self.domain}/sitemap.txt', f'https://{self.domain}/sitemap.txt',
                f'http://www.{self.domain}/sitemap.txt', f'https://www.{self.domain}/sitemap.txt',
                f'http://{self.domain}/sitemap.html', f'https://{self.domain}/sitemap.html',
                f'http://www.{self.domain}/sitemap.html', f'https://www.{self.domain}/sitemap.html',
                f'http://{self.domain}/sitemap_index.xml', f'https://{self.domain}/sitemap_index.xml',
                f'http://www.{self.domain}/sitemap_index.xml', f'https://www.{self.domain}/sitemap_index.xml']
        
        # 循环访问不同的 URL，查找 sitemap 文件
        for url in urls:
            self.header = self.get_header()
            self.proxy = self.get_proxy(self.source)
            self.timeout = 10  # 设置请求超时时间为 10 秒
            response = self.get(url, check=False, allow_redirects=False)  # 不跟随重定向
            if not response:
                return
            if response and len(response.content):
                # 匹配 sitemap 文件中的子域名
                self.subdomains = utils.match_subdomain(self.domain, response.text)

    def run(self):
        """
        执行入口方法，启动检查过程
        """
        self.begin()  # 开始执行
        self.check()  # 执行 sitemap 检查
        self.finish()  # 完成执行

        # 保存结果到文件或数据库
        self.save_json()
        self.gen_result()
        self.save_db()


def do(domain):  # 统一入口，方便多线程调用
    """
    类统一调用入口

    :param domain: 域名
    """
    check = CheckSitemap(domain)  # 创建 CheckSitemap 实例
    check.run()  # 执行检查


if __name__ == '__main__':
    # 示例：执行针对 'qq.com' 的 sitemap 检查
    do('qq.com')