@ -2,408 +2,237 @@ package com.tamguo;
import com.baomidou.mybatisplus.mapper.Condition ;
import com.baomidou.mybatisplus.plugins.Page ;
// 引入MyBatis-Plus框架中的相关类， ， ；
// Page类用于实现分页查询相关功能， ，
import com.tamguo.config.redis.CacheService ;
// 引入自定义的基于Redis的缓存服务类， ， ，
import com.tamguo.dao.* ;
// 引入多个自定义的数据访问层（ ） ， （ ） ，
// 其实现类会具体实现像数据的插入、查询、更新等数据库交互逻辑，通过依赖注入获取相应实现类实例后就能操作数据库了。
import com.tamguo.model.* ;
import com.tamguo.model.enums.QuestionType ;
import com.tamguo.model.vo.QuestionVo ;
// 引入自定义的实体类、枚举类以及视图对象类。实体类对应数据库表结构， ； ， ；
// QuestionVo这类视图对象类通常用于在不同方法间临时封装和传递数据，
import com.xuxueli.crawler.XxlCrawler ;
import com.xuxueli.crawler.conf.XxlCrawlerConf ;
import com.xuxueli.crawler.loader.strategy.HtmlUnitPageLoader ;
import com.xuxueli.crawler.parser.PageParser ;
import com.xuxueli.crawler.rundata.RunData ;
import com.xuxueli.crawler.util.FileUtil ;
// 引入XxlCrawler框架相关类， ； ； ；
// PageParser用于定义如何解析爬取到的页面内容； ； ，
import org.apache.commons.lang3.StringUtils ;
// 引入Apache Commons Lang3库中的StringUtils类， ， ，
import org.jsoup.nodes.Document ;
import org.jsoup.nodes.Element ;
// 引入Jsoup库中的Document和Element类， ， ， ，
// 在爬取网页后解析页面内容提取数据时会用到它们。
import org.junit.Test ;
import org.junit.runner.RunWith ;
// 引入JUnit测试框架中的注解， ， ； ，
// 这里配置使其能运行在符合Spring框架要求的环境下，
import org.springframework.beans.factory.annotation.Autowired ;
import org.springframework.boot.test.context.SpringBootTest ;
import org.springframework.test.context.junit4.SpringRunner ;
// Spring框架相关注解， （ ） ， ； ，
// 会启动完整的应用上下文； ，
import java.io.File ;
import java.text.DecimalFormat ;
import java.text.SimpleDateFormat ;
import java.util.* ;
// 引入Java标准库中的常用类， ，
// PaperQuestionCrawler类是一个基于Spring Boot和JUnit框架构建的测试类， ，
// 对爬取到的数据进行多方面处理（如关联其他实体信息、处理题目内容中的图片等）后，将题目数据存储到数据库中。
@RunWith ( SpringRunner . class )
@SpringBootTest
public class PaperQuestionCrawler {
// 使用@Autowired注解自动注入QuestionMapper接口的实现类实例， （ ） ，
// 例如将整理好的题目信息插入到数据库对应的题目表中，实现数据的持久化存储。
@Autowired
QuestionMapper questionMapper ;
// 自动注入CrawlerQuestionMapper接口的实现类实例， ， ，
@Autowired
CrawlerQuestionMapper crawlerQuestionMapper ;
// 注入CrawlerPaperMapper接口实现类实例， ， ，
@Autowired
CrawlerPaperMapper crawlerPaperMapper ;
// 注入ChapterMapper接口实现类实例， ， （ ） ，
// 或许在题目与章节关联等业务逻辑处理中会用到。
@Autowired
ChapterMapper chapterMapper ;
// 注入CourseMapper接口实现类实例， （ ） ， ，
@Autowired
CourseMapper courseMapper ;
// 注入SubjectMapper接口实现类实例， （ ） ， ，
@Autowired
SubjectMapper subjectMapper ;
// 注入PaperMapper接口实现类实例， （ ） ， ，
@Autowired
PaperMapper paperMapper ;
// 注入自定义的缓存服务类实例， ， ，
@Autowired
CacheService cacheService ;
// 定义文件编号的格式模板， （ ） ， ，
private static final String FILES_NO_FORMAT = "000000000" ;
// 定义文件路径的前缀字符串， ， ， ，
private static final String FILES_PREFIX = "shengwu" ;
// 定义课程ID， ， ， ，
private static final String COURSE_ID = "shengwu" ;
// 用于存储爬虫运行时的数据对象， ， ，
// 在爬虫启动以及后续的数据处理过程中，这个对象中的数据会不断更新和被使用。
private RunData runData ;
// 使用@Test注解标记的测试方法， ， ，
// 同时涵盖了对题目内容中图片的下载以及相关URL替换等复杂操作。
@SuppressWarnings ( "unchecked" )
@Test
public void crawlerQuestion ( ) {
// 创建一个XxlCrawler实例的构建器， ，
XxlCrawler crawler = new XxlCrawler . Builder ( )
// 设置是否允许爬虫自动根据页面中的链接扩展爬取范围， ， ，
// 若设为true， ， ，
. setAllowSpread ( false )
// 设置爬虫运行时使用的线程数量， ， ， （ ） ，
// 不过线程过多可能会给目标网站带来较大压力，甚至触发反爬虫机制等问题。
. setThreadCount ( 1 )
// 设置当爬取某个页面失败时的重试次数， ， ， ， ，
// 这样能在一定程度上提高爬取的成功率，尽量保证可以完整获取到需要的题目相关信息。
. setFailRetryCount ( 5 )
// 设置页面加载器为HtmlUnitPageLoader， ， ，
// 以便后续可以顺利地对获取到的页面进行解析以及提取相关数据等操作。
. setPageLoader ( new HtmlUnitPageLoader ( ) )
// 设置页面解析器， ， ， ，
// 根据页面的不同情况（ ） ，
. setPageParser ( new PageParser < QuestionVo > ( ) {
@Override
public void parse ( Document html , Element pageVoElement , QuestionVo questionVo ) {
// 判断题目Vo对象中的题目内容（
// 则将当前页面的URL添加到待访问的URL列表中（ ） ， ， ，
if ( StringUtils . isEmpty ( questionVo . getContent ( ) ) ) {
runData . addUrl ( html . baseUri ( ) ) ;
return ;
}
// 创建一个CrawlerPaperEntity对象， ， （
// 目的是通过这个URL去数据库中查找对应的爬取试卷相关的实体信息，
CrawlerPaperEntity condition = new CrawlerPaperEntity ( ) ;
condition . setQuestionUrl ( html . baseUri ( ) ) ;
// 在控制台打印当前页面的URL， ，
System . out . println ( html . baseUri ( ) ) ;
// 使用注入的crawlerPaperMapper（ ） ， ，
// 从数据库中查询并获取对应的CrawlerPaperEntity对象，
CrawlerPaperEntity crawlerPaper = crawlerPaperMapper . selectOne ( condition ) ;
// 通过注入的paperMapper（ ） ， （ ） ，
// 从数据库中查询出对应的PaperEntity对象， ，
PaperEntity paper = paperMapper . selectById ( crawlerPaper . getPaperId ( ) ) ;
// 同样地， （ ） ， （ ） ，
// 从数据库中查询出对应的CourseEntity对象， ，
CourseEntity course = courseMapper . selectById ( paper . getCourseId ( ) ) ;
// 按照类似的逻辑， （ ） ， （ ） ，
// 从数据库中查询出SubjectEntity对象， ，
SubjectEntity subject = subjectMapper . selectById ( paper . getSubjectId ( ) ) ;
// 通过QuestionType枚举类的静态方法getQuestionType， （ ） ，
// 获取对应的QuestionType枚举值， ，
QuestionType questionType = QuestionType . getQuestionType ( questionVo . getQuestionType ( ) ) ;
// 创建一个QuestionEntity对象， ，
QuestionEntity question = new QuestionEntity ( ) ;
// 根据题目类型来设置题目内容， （ ） ，
// 并且题目Vo对象中的题目选项（
// 若题目选项为空， ； ，
if ( questionType = = QuestionType . DANXUANTI ) {
if ( ! StringUtils . isEmpty ( questionVo . getQueoptions ( ) ) ) {
question . setContent ( questionVo . getContent ( ) + questionVo . getQueoptions ( ) ) ;
} else {
question . setContent ( questionVo . getContent ( ) ) ;
}
} else {
question . setContent ( questionVo . getContent ( ) ) ;
}
// 设置题目解析内容， ， ，
// 则设置一个默认的简略解析内容（<p> <span> 略 </span> <br> </p>），以保证题目解析信息在数据库中具有一定的完整性。
question . setAnalysis ( questionVo . getAnalysis ( ) ) ;
if ( StringUtils . isEmpty ( question . getAnalysis ( ) ) ) {
question . setAnalysis ( "<p> <span> 略 </span> <br> </p>" ) ;
}
// 设置题目答案，
question . setAnswer ( questionVo . getAnswer ( ) ) ;
// 设置题目审核状态为“1”， ， ，
// 用于在数据库中记录题目在审核方面的状态信息。
question . setAuditStatus ( "1" ) ;
// 设置题目所属章节ID为空字符串， ， ，
question . setChapterId ( "" ) ;
// 设置题目所属课程ID， ，
question . setCourseId ( course . getId ( ) ) ;
// 设置题目所属试卷ID， ，
question . setPaperId ( paper . getId ( ) ) ;
// 设置题目类型， （
// 这样在数据库中就能准确记录题目具体的类型信息了。
question . setQuestionType ( questionType . getValue ( ) . toString ( ) ) ;
// 判断题目Vo对象中的复习要点（
// 则使用StringUtils的join方法将复习要点列表转换为以逗号分隔的字符串， ，
if ( questionVo . getReviewPoint ( ) ! = null & & questionVo . getReviewPoint ( ) . size ( ) > 0 ) {
question . setReviewPoint ( StringUtils . join ( questionVo . getReviewPoint ( ) . toArray ( ) , "," ) ) ;
}
// 处理题目分数相关信息， （
// 则将该分数内容赋值给题目实体的分数属性，用于准确记录题目对应的分值情况，符合常规的分数记录逻辑。
if ( questionVo . getScore ( ) ! = null ) {
if ( questionVo . getScore ( ) . contains ( "分" ) ) {
question . setScore ( questionVo . getScore ( ) ) ;
}
// 如果题目Vo对象中的分数字符串包含“年”字， ， ，
// 则将该分数内容赋值给题目实体的年份属性，具体含义需结合
if ( questionVo . getScore ( ) ! = null ) {
// 判断题目Vo对象中的分数（
// 这个分数字段可能有特殊含义（ ） ， （
if ( questionVo . getScore ( ) . contains ( "年" ) ) {
question . setYear ( questionVo . getScore ( ) ) ;
}
}
// 再次判断题目Vo对象中的年份（
// 因为前面可能只是基于分数字段中是否包含“年”字来设置年份属性，这里再单独判断年份字段本身的情况。
if ( questionVo . getYear ( ) ! = null ) {
// 如果题目Vo对象中的年份字符串包含“年”字， ， ，
// 符合业务逻辑中对题目年份信息记录的要求。
if ( questionVo . getYear ( ) . contains ( "年" ) ) {
question . setYear ( questionVo . getYear ( ) ) ;
}
}
// 设置题目所属学科ID， （ ） ，
// 以此明确题目所属的学科，建立题目与学科之间的正确关联关系，便于后续按照学科维度对题目进行分类、查询等业务操作。
question . setSubjectId ( subject . getId ( ) ) ;
// 判断题目Vo对象中的答案图片列表（
// 如果存在图片， ，
if ( questionVo . getAnswerImages ( ) ! = null & & questionVo . getAnswerImages ( ) . size ( ) > 0 ) {
// 将题目Vo对象中的答案图片列表转换为一个HashSet集合， ， ， ，
// 同时方便后续的遍历操作（ ， ）
Set < String > imagesSet = new HashSet < String > ( questionVo . getAnswerImages ( ) ) ;
// 遍历答案图片集合，
for ( String img : imagesSet ) {
// 调用getFileName方法获取要下载的图片文件的文件名， ，
// 文件名的生成逻辑在getFileName方法中具体实现（ ）
String fileName = getFileName ( img ) ;
// 调用getFilePath方法获取文件存储的基础路径， ， ，
// 具体路径可能根据业务需求和项目配置来设定，比如按照课程、学科等分类来划分不同的文件存储目录。
String filePath = getFilePath ( ) ;
// 调用getFileDatePath方法获取基于当前日期时间生成的文件路径部分， ，
// 例如每天的文件存放在不同的以日期时间命名的子目录下，方便文件管理和查找，该方法内部会利用日期格式化来生成相应的路径字符串。
String fileDatePath = getFileDatePath ( ) ;
// 根据获取到的文件路径和日期路径创建一个File对象， ， ，
// 则通过mkdirs方法创建该目录及其所有必要的父目录， ，
File dir = new File ( filePath + fileDatePath + "/" ) ;
if ( ! dir . exists ( ) )
dir . mkdirs ( ) ;
// 使用FileUtil工具类的downFile方法下载图片文件， （ ）
// 文件存储路径以及文件名等参数，该方法内部实现了具体的文件下载逻辑，比如建立网络连接、读取文件流并保存到本地等操作，
// 并返回一个布尔值表示文件下载是否成功。
boolean ret = FileUtil . downFile ( img , XxlCrawlerConf . TIMEOUT_MILLIS_DEFAULT , filePath + fileDatePath + "/" , fileName ) ;
// 在控制台打印图片下载的结果信息， ， ， ， ，
// 同时打印出当前正在处理的图片URL，
System . out . println ( "down images " + ( ret ? "success" : "fail" ) + "： + img ) ;
// 在题目答案文本中替换图片的原始URL为新的本地文件路径对应的URL， ， （ ）
// 替换为新的格式（/files/paper/ + COURSE_ID + '/' + fileDatePath + "/" + fileName） ， ，
// 这样在后续展示题目答案等相关操作时，就能正确加载本地存储的图片了。
question . setAnswer ( question . getAnswer ( ) . replace ( img , "/files/paper/" + COURSE_ID + '/' + fileDatePath + "/" + fileName ) ) ;
}
// 将处理后的题目答案重新赋值给题目实体的答案属性，虽然看起来这一步有点多余（因为前面已经在原答案属性上进行了替换操作），
// 但从代码的清晰性和完整性角度考虑，这样做可以更明确地表示答案属性经过一系列处理后最终的赋值情况，避免其他地方误修改该属性导致逻辑混乱。
question . setAnswer ( question . getAnswer ( ) ) ;
}
// 判断题目Vo对象中的解析图片列表（
// 如果存在图片， ，
if ( questionVo . getAnalysisImages ( ) ! = null & & questionVo . getAnalysisImages ( ) . size ( ) > 0 ) {
Set < String > imagesSet = new HashSet < String > ( questionVo . getAnalysisImages ( ) ) ;
for ( String img : imagesSet ) {
String fileName = getFileName ( img ) ;
String filePath = getFilePath ( ) ;
String fileDatePath = getFileDatePath ( ) ;
File dir = new File ( filePath + fileDatePath + "/" ) ;
if ( ! dir . exists ( ) )
dir . mkdirs ( ) ;
boolean ret = FileUtil . downFile ( img , XxlCrawlerConf . TIMEOUT_MILLIS_DEFAULT , filePath + fileDatePath + "/" , fileName ) ;
System . out . println ( "down images " + ( ret ? "success" : "fail" ) + "： + img ) ;
// 在题目解析文本中替换图片的原始URL为新的本地文件路径对应的URL， ，
// 替换逻辑与答案图片的URL替换类似，
question . setAnalysis ( question . getAnalysis ( ) . replace ( img , "/files/paper/" + COURSE_ID + '/' + fileDatePath + "/" + fileName ) ) ;
}
// 同样将处理后的题目解析内容重新赋值给题目实体的解析属性，确保解析属性的最终状态符合预期，保证数据的准确性和完整性。
question . setAnalysis ( question . getAnalysis ( ) ) ;
}
// 判断题目Vo对象中的题目内容图片列表（
// 如果有图片， ，
if ( questionVo . getContentImages ( ) ! = null & & questionVo . getContentImages ( ) . size ( ) > 0 ) {
Set < String > imagesSet = new HashSet < String > ( questionVo . getContentImages ( ) ) ;
for ( String img : imagesSet ) {
String fileName = getFileName ( img ) ;
String filePath = getFilePath ( ) ;
String fileDatePath = getFileDatePath ( ) ;
File dir = new File ( filePath + fileDatePath + "/" ) ;
if ( ! dir . exists ( ) ) {
dir . mkdirs ( ) ;
}
boolean ret = FileUtil . downFile ( img , XxlCrawlerConf . TIMEOUT_MILLIS_DEFAULT , filePath + fileDatePath + "/" , fileName ) ;
System . out . println ( "down images " + ( ret ? "success" : "fail" ) + "： + img ) ;
// 在题目内容文本中替换图片的原始URL为新的本地文件路径对应的URL， ，
// 保证题目内容的完整性和正确性，符合业务逻辑中对题目包含图片情况的处理要求。
question . setContent ( question . getContent ( ) . replace ( img , "/files/paper/" + COURSE_ID + '/' + fileDatePath + "/" + fileName ) ) ;
}
// 将处理后的题目内容重新赋值给题目实体的内容属性，明确题目内容属性经过图片相关处理后的最终状态，便于后续将题目数据准确存储到数据库中。
question . setContent ( question . getContent ( ) ) ;
}
// 设置题目图片的来源类型为“baidu”， （ ） ，
// 具体的来源类型设定取决于业务需求和数据溯源的要求，方便后续对图片来源进行统计、分析等操作。
question . setSourceType ( "baidu" ) ;
// 设置题目图片的来源URL， （ ） ， ，
// 有助于数据溯源以及在需要查看原始图片来源等情况下使用，保证数据的完整性和可追溯性。
question . setSourceUrl ( html . baseUri ( ) ) ;
// 使用注入的questionMapper（ ） ， （ ） ，
// 实现题目数据的持久化存储，完成整个题目爬取、处理以及存储的流程，确保题目信息能够正确保存到数据库里，供后续业务使用。
questionMapper . insert ( question ) ;
// 定义一个名为getFileName的私有方法， ， ，
// 这个文件名会用于后续图片文件的保存操作，确保文件名具有一定的规范性和唯一性（结合业务规则生成）。
public String getFileName ( String img ) {
// 通过调用getFileNo方法获取一个文件编号部分， ， （ ） ，
// 然后拼接上图片URL中提取出的文件后缀部分（ ，
// 最终组成完整的文件名并返回。
return getFileNo ( ) + img . substring ( img . lastIndexOf ( "." ) ) ;
}
// 定义一个私有的方法getFilePath， ， ， ，
// 这里返回的路径表明文件将存储在“/home/webdata/files/paper/”目录下， （ ， ） ，
// 方便对不同课程的相关文件进行分类存储管理。
private String getFilePath ( ) {
return "/home/webdata/files/paper/" + COURSE_ID + "/" ;
}
// 定义一个私有的方法getFileDatePath， ，
// 通过使用SimpleDateFormat按照“yyyyMMddHH”格式对当前日期时间进行格式化， （ ） ，
// 以此作为文件存储路径的一部分，便于按照时间维度对文件进行分类存储，例如每天的文件存放在以当天日期时间命名的子目录下，方便后续查找和管理文件。
private String getFileDatePath ( ) {
SimpleDateFormat sdf = new SimpleDateFormat ( "yyyyMMddHH" ) ;
String format = sdf . format ( new Date ( ) ) ;
return format ;
}
// 定义一个私有的方法getFileNo， ， （ ）
private String getFileNo ( ) {
// 首先使用SimpleDateFormat按照“yyyyMMddHH”格式获取当前日期时间的格式化字符串， ， ，
// 是基于当前时间来生成编号的一部分，确保不同时间生成的编号有一定区分度，同时也便于后续按时间维度对文件进行管理和查找等操作。
SimpleDateFormat sdf = new SimpleDateFormat ( "yyyyMMddHH" ) ;
String format = sdf . format ( new Date ( ) ) ;
// 创建一个DecimalFormat对象， （ ） ，
// 目的是将后续生成的自增编号按照这个固定长度的数字格式进行格式化，保证编号长度统一且具有一定的顺序性和可读性。
DecimalFormat df = new DecimalFormat ( FILES_NO_FORMAT ) ;
// 构建一个用于在缓存中作为键的字符串， （ ） （ ） ，
// 这个键用于在缓存服务（ ） ， （ ）
String key = FILES_PREFIX + format ;
// 调用cacheService（ ） ， （ ） ，
// Redis的自增操作是原子性的， ， ，
Long incr = cacheService . incr ( key ) ;
// 使用DecimalFormat对象将自增后的编号（ ） （ ） ， ，
// 例如如果自增后编号为1， ， （ ） ， ，
// 这个文件编号会作为文件名的一部分，用于保证文件名在整个业务场景下的唯一性和规范性。
String avatorNo = FILES_PREFIX + df . format ( incr ) ;
return avatorNo ;
}
// 通过调用build方法构建出前面配置好的XxlCrawler实例， ， （ ） ，
// 后续可以使用这个实例来启动爬虫进行网页爬取以及相关的数据处理操作。
} ) . build ( ) ;
// 获取前面构建好的XxlCrawler实例中的运行数据对象（ ） ， ，
// 例如已经访问过的URL、还需要访问的URL等信息， ，
runData = crawler . getRunData ( ) ;
// 初始化页码变量page为1， ， ， ，
int page = 1 ;
// 设置每页的数据量为1000， ， （ ） ，
// 合理的每页数据量设置有助于平衡内存使用、查询效率以及数据处理的便捷性等方面的因素。
int pageSize = 1000 ;
// 开启一个无限循环，通过不断分页查询题目数据，直到满足特定条件（即查询到的数据量小于每页数据量，表示已经处理完所有数据）时才会跳出循环，
// 以此实现对所有相关题目数据的遍历处理，确保不遗漏任何需要处理的数据。
while ( true ) {
// 创建一个Page对象， ， （ ） （ ） ，
// 这个对象会被传递给后续的查询方法，以便数据库查询操作按照指定的分页规则获取相应的数据记录。
Page < CrawlerPaperEntity > questionPage = new Page < CrawlerPaperEntity > ( page , pageSize ) ;
// 使用注入的crawlerPaperMapper（ ） ，
// 传入前面构建的分页参数对象（ ） （
// 这里构建的查询条件表示按照“paper_id”和“queindex”字段升序排列进行查询， ，
// 也就是获取到一批与爬取试卷题目相关的实体数据， （ ）
List < CrawlerPaperEntity > questionList = crawlerPaperMapper . selectPage ( questionPage , Condition . create ( ) . orderAsc ( Arrays . asList ( "paper_id" , "queindex" ) ) ) ;
// 遍历查询到的题目数据列表， （ ） ， （ ） ，
// 然后将这个URL添加到爬虫的运行数据对象（ ） ， ，
for ( int i = 0 ; i < questionList . size ( ) ; i + + ) {
runData . addUrl ( questionList . get ( i ) . getQuestionUrl ( ) ) ;
}
// 页码自增1， ， ，
page + + ;
// 判断当前查询到的数据列表的大小（ ） （ ） ， ， ， ，
// 此时跳出循环， ，
if ( questionList . size ( ) < 1000 ) {
break ;
}
}
// 启动前面配置好的XxlCrawler实例， （ ） ，
// 启动后爬虫会按照预先设置的参数（如爬取范围、页面解析逻辑等）开始进行网页爬取、数据提取以及后续的数据处理和存储等操作，
// 整个流程围绕着获取试卷题目相关信息并进行处理后保存到数据库中展开， （ ）
// 获取科目（这里“获取科目”从代码逻辑上看不太明确具体含义，可能在爬虫启动后有进一步获取科目相关信息用于后续业务处理的逻辑，不过需要结合更多上下文代码来准确判断）。
crawler . start ( true ) ; }
. setAllowSpread ( false )
. setThreadCount ( 1 )
. setFailRetryCount ( 5 )
. setPageLoader ( new HtmlUnitPageLoader ( ) )
. setPageParser ( new PageParser < QuestionVo > ( ) {
@Override
public void parse ( Document html , Element pageVoElement , QuestionVo questionVo ) {
if ( StringUtils . isEmpty ( questionVo . getContent ( ) ) ) {
runData . addUrl ( html . baseUri ( ) ) ;
return ;
}
CrawlerPaperEntity condition = new CrawlerPaperEntity ( ) ;
condition . setQuestionUrl ( html . baseUri ( ) ) ;
System . out . println ( html . baseUri ( ) ) ;
CrawlerPaperEntity crawlerPaper = crawlerPaperMapper . selectOne ( condition ) ;
PaperEntity paper = paperMapper . selectById ( crawlerPaper . getPaperId ( ) ) ;
CourseEntity course = courseMapper . selectById ( paper . getCourseId ( ) ) ;
SubjectEntity subject = subjectMapper . selectById ( paper . getSubjectId ( ) ) ;
QuestionType questionType = QuestionType . getQuestionType ( questionVo . getQuestionType ( ) ) ;
QuestionEntity question = new QuestionEntity ( ) ;
if ( questionType = = QuestionType . DANXUANTI ) {
if ( ! StringUtils . isEmpty ( questionVo . getQueoptions ( ) ) ) {
question . setContent ( questionVo . getContent ( ) + questionVo . getQueoptions ( ) ) ;
} else {
question . setContent ( questionVo . getContent ( ) ) ;
}
} else {
question . setContent ( questionVo . getContent ( ) ) ;
}
question . setAnalysis ( questionVo . getAnalysis ( ) ) ;
if ( StringUtils . isEmpty ( question . getAnalysis ( ) ) ) {
question . setAnalysis ( "<p> <span> 略 </span> <br> </p>" ) ;
}
question . setAnswer ( questionVo . getAnswer ( ) ) ;
question . setAuditStatus ( "1" ) ;
question . setChapterId ( "" ) ;
question . setCourseId ( course . getId ( ) ) ;
question . setPaperId ( paper . getId ( ) ) ;
question . setQuestionType ( questionType . getValue ( ) . toString ( ) ) ;
if ( questionVo . getReviewPoint ( ) ! = null & & questionVo . getReviewPoint ( ) . size ( ) > 0 ) {
question . setReviewPoint ( StringUtils . join ( questionVo . getReviewPoint ( ) . toArray ( ) , "," ) ) ;
}
// 处理分数
if ( questionVo . getScore ( ) ! = null ) {
if ( questionVo . getScore ( ) . contains ( "分" ) ) {
question . setScore ( questionVo . getScore ( ) ) ;
}
if ( questionVo . getScore ( ) . contains ( "年" ) ) {
question . setYear ( questionVo . getScore ( ) ) ;
}
}
if ( questionVo . getYear ( ) ! = null ) {
if ( questionVo . getYear ( ) . contains ( "年" ) ) {
question . setYear ( questionVo . getYear ( ) ) ;
}
}
question . setSubjectId ( subject . getId ( ) ) ;
if ( questionVo . getAnswerImages ( ) ! = null & & questionVo . getAnswerImages ( ) . size ( ) > 0 ) {
Set < String > imagesSet = new HashSet < String > ( questionVo . getAnswerImages ( ) ) ;
for ( String img : imagesSet ) {
// 下载图片文件
String fileName = getFileName ( img ) ;
String filePath = getFilePath ( ) ;
String fileDatePath = getFileDatePath ( ) ;
File dir = new File ( filePath + fileDatePath + "/" ) ;
if ( ! dir . exists ( ) )
dir . mkdirs ( ) ;
boolean ret = FileUtil . downFile ( img , XxlCrawlerConf . TIMEOUT_MILLIS_DEFAULT , filePath + fileDatePath + "/" , fileName ) ;
System . out . println ( "down images " + ( ret ? "success" : "fail" ) + "： + img ) ;
// 替换URL
question . setAnswer ( question . getAnswer ( ) . replace ( img , "/files/paper/" + COURSE_ID + '/' + fileDatePath + "/" + fileName ) ) ;
}
question . setAnswer ( question . getAnswer ( ) ) ;
}
if ( questionVo . getAnalysisImages ( ) ! = null & & questionVo . getAnalysisImages ( ) . size ( ) > 0 ) {
Set < String > imagesSet = new HashSet < String > ( questionVo . getAnalysisImages ( ) ) ;
for ( String img : imagesSet ) {
// 下载图片文件
String fileName = getFileName ( img ) ;
String filePath = getFilePath ( ) ;
String fileDatePath = getFileDatePath ( ) ;
File dir = new File ( filePath + fileDatePath + "/" ) ;
if ( ! dir . exists ( ) )
dir . mkdirs ( ) ;
boolean ret = FileUtil . downFile ( img , XxlCrawlerConf . TIMEOUT_MILLIS_DEFAULT , filePath + fileDatePath + "/" , fileName ) ;
System . out . println ( "down images " + ( ret ? "success" : "fail" ) + "： + img ) ;
// 替换URL
question . setAnalysis ( question . getAnalysis ( ) . replace ( img , "/files/paper/" + COURSE_ID + '/' + fileDatePath + "/" + fileName ) ) ;
}
question . setAnalysis ( question . getAnalysis ( ) ) ;
}
if ( questionVo . getContentImages ( ) ! = null & & questionVo . getContentImages ( ) . size ( ) > 0 ) {
Set < String > imagesSet = new HashSet < String > ( questionVo . getContentImages ( ) ) ;
for ( String img : imagesSet ) {
// 下载图片文件
String fileName = getFileName ( img ) ;
String filePath = getFilePath ( ) ;
String fileDatePath = getFileDatePath ( ) ;
File dir = new File ( filePath + fileDatePath + "/" ) ;
if ( ! dir . exists ( ) ) {
dir . mkdirs ( ) ;
}
boolean ret = FileUtil . downFile ( img , XxlCrawlerConf . TIMEOUT_MILLIS_DEFAULT , filePath + fileDatePath + "/" , fileName ) ;
System . out . println ( "down images " + ( ret ? "success" : "fail" ) + "： + img ) ;
// 替换URL
question . setContent ( question . getContent ( ) . replace ( img , "/files/paper/" + COURSE_ID + '/' + fileDatePath + "/" + fileName ) ) ;
}
question . setContent ( question . getContent ( ) ) ;
}
// 处理图片
question . setSourceType ( "baidu" ) ;
question . setSourceUrl ( html . baseUri ( ) ) ;
questionMapper . insert ( question ) ;
}
public String getFileName ( String img ) {
return getFileNo ( ) + img . substring ( img . lastIndexOf ( "." ) ) ;
}
private String getFilePath ( ) {
return "/home/webdata/files/paper/" + COURSE_ID + "/" ;
}
private String getFileDatePath ( ) {
SimpleDateFormat sdf = new SimpleDateFormat ( "yyyyMMddHH" ) ;
String format = sdf . format ( new Date ( ) ) ;
return format ;
}
private String getFileNo ( ) {
SimpleDateFormat sdf = new SimpleDateFormat ( "yyyyMMddHH" ) ;
String format = sdf . format ( new Date ( ) ) ;
DecimalFormat df = new DecimalFormat ( FILES_NO_FORMAT ) ;
String key = FILES_PREFIX + format ;
Long incr = cacheService . incr ( key ) ;
String avatorNo = FILES_PREFIX + df . format ( incr ) ;
return avatorNo ;
}
} ) . build ( ) ;
runData = crawler . getRunData ( ) ;
int page = 1 ;
int pageSize = 1000 ;
while ( true ) {
Page < CrawlerPaperEntity > questionPage = new Page < CrawlerPaperEntity > ( page , pageSize ) ;
List < CrawlerPaperEntity > questionList = crawlerPaperMapper . selectPage ( questionPage , Condition . create ( ) . orderAsc ( Arrays . asList ( "paper_id" , "queindex" ) ) ) ;
for ( int i = 0 ; i < questionList . size ( ) ; i + + ) {
runData . addUrl ( questionList . get ( i ) . getQuestionUrl ( ) ) ;
}
page + + ;
if ( questionList . size ( ) < 1000 ) {
break ;
}
}
// 获取科目
crawler . start ( true ) ;
}
}
