4.2 KiB
GoSkeleton 项目骨架性能分析报告（三）
1.内存分析篇我们原计划分为2篇：主线逻辑和操作数据库部分,但是经过测试发现，如果不操作数据库处理大量数据，主线逻辑基本不占用内存，根本就采集不到有效数据.
2.基于第一条因素，我们将内存占用分析限定在操作数据库代码段，分析相关代码段内存占用，得出可视化的性能分析报告。
操作数据库, 我们需要做如下铺垫代码
1.我们本次分析的核心是在数据库操作部分, 因此我们在路由出添加如下代码，访问路由即可触发数据库的调用.
router.GET("/", func(context *gin.Context) {
// 默认路由处直接触发数据库调用
if model.CreateTestFactory("").SelectDataMultiple() {
context.String(200,"批量查询数据OK")
} else {
context.String(200,"批量查询数据出错")
}
context.String(http.StatusOK, "Api 模块接口 hello word！")
})
2.操作数据库部分代码，主要逻辑是每次查询1000条，循环查询了500次，每一次将结果存储在变量,并且在最后一次输出了结果集.
// 超多数据批量查询的正确姿势
func (t *Test) SelectDataMultiple() bool {
// 如果您要亲自测试，请确保相关表存在，并且有数据
sql := `
SELECT
code,name,company_name,concepts,indudtry,province,city,introduce,created_at
FROM
db_stocks.tb_code_list
LIMIT 0, 1000 ;
`
//1.首先独立预处理sql语句，无参数
if t.PrepareSql(sql) {
// 你可以模拟插入更多条数据，例如 1万+
var code, name, company_name, concepts, indudtry, province, city, introduce, created_at string
type Column struct {
Code string `json:"code"`
Name string `json:"name"`
Company_name string `json:"company_name"`
Concepts string `json:"concepts"`
Indudtry string `json:"indudtry"`
Province string `json:"province"`
City string `json:"city"`
Introduce string `json:"introduce"`
Created_at string `json:"created_at"`
}
for i := 1; i <= 500; i++ {
var nColumn = make([]Column, 0)
//2.执行批量查询
rows := t.QuerySqlForMultiple()
if rows == nil {
variable.ZapLog.Sugar().Error("sql执行失败，sql:", sql)
return false
} else {
for rows.Next() {
_ = rows.Scan(&code, &name, &company_name, &concepts, &indudtry, &province, &city, &introduce, &created_at)
oneColumn := Column{
code,
name,
company_name,
concepts,
indudtry,
province,
city,
introduce,
created_at,
}
nColumn = append(nColumn, oneColumn)
}
//// 我们只输出最后一行数据
if i == 500 {
fmt.Println("循环结束，最终需要返回的结果成员数量：",len(nColumn))
fmt.Printf("%#+v\n",nColumn)
}
}
rows.Close()
}
}
variable.ZapLog.Info("批量查询sql执行完毕！")
return true
}
内存占用 底层数据采集步骤
1.浏览器访问pprof接口：
http://127.0.0.1:20191/debug/pprof/heap?seconds=30, 该过程会持续 30 秒,采集本进程内存变化数据.
2.新开浏览器窗口,输入http://127.0.0.1:20191/刷新,触发路由中的数据库操作代码, 等待被 pprof 采集数据.
3.稍等片刻，30秒之后，您点击过的步骤1就会提示下载文件：heap-delta, 请保存在您能记住的路径中，稍后马上使用该文件(heap-delta), 至此内存占用数据已经采集完毕.
内存占用数据分析步骤
1.首先下载安装 graphviz ,根据您的系统选择相对应的版本安装，安装完成记得将
安装目录/bin, 加入系统环境变量.
2.打开cmd窗口,执行dot -V,会显示版本信息，说明安装已经OK, 那么继续执行dot -c安装图形显示所需要的插件.
3.我们已经得到了heap-delta文件,那么就在同目录打开cmd窗口,执行go tool pprof -inuse_space heap-delta, 然后输入web回车就会自动打开浏览器，展示给您如下结果图：
报告详情参见如下图
