扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
作者:andruzhang,腾讯 IEG 后台开发工程师
让客户满意是我们工作的目标,不断超越客户的期望值来自于我们对这个行业的热爱。我们立志把好的技术通过有效、简单的方式提供给客户,将通过不懈努力成为客户在信息化领域值得信任、有价值的长期合作伙伴,公司提供的服务项目有:主机域名、网页空间、营销软件、网站建设、邹平网站维护、网站推广。
在后台开发中,针对错误处理,有三个维度的问题需要解决:
一个面向过程的函数,在不同的处理过程中需要 handle 不同的错误信息;一个面向对象的函数,针对一个操作所返回的不同类型的错误,有可能需要进行不同的处理。此外,在遇到错误时,也可以使用断言的方式,快速中止函数流程,大大提高代码的可读性。
在许多高级语言中都提供了 try ... catch 的语法,函数内部可以通过这种方案,实现一个统一的错误处理逻辑。而即便是 C 这种 “中级语言” 虽然没有,但是程序员也可以使用宏定义的方式,来实现某种程度上的错误断言。
但是,对于 Go 的情况就比较尴尬了。
我们先来看断言,我们的目的是,仅使用一行代码就能够检查错误并终止当前函数。由于没有 throw,没有宏,如果要实现一行断言,有两种方法。
第一种是把 if 的错误判断写在一行内,比如:
第二种方法是借用 panic 函数,结合 recover 来实现:
这两种方法都值得商榷。
首先,将 if 写在同一行内的问题有:
至于第二种方法,我们要分情况看;
不过使用 panic 来断言的方案,虽然在业务逻辑中基本上不用,但在测试场景下则是非常常见的。测试嘛,用牛刀有何不可?稍微大一点的系统开销也没啥问题。对于 Go 来说,非常热门的单元测试框架 goconvey 就是使用 panic 机制来实现单元测试中的断言,用的人都说好。
综上,在 Go 中,对于业务代码,笔者不建议采用断言,遇到错误的时候建议还是老老实实采用这种格式:
而在单测代码中,则完全可以大大方方地采用类似于 goconvey 之类基于 panic 机制的断言。
众所周知 Go 是没有 try ... catch 的,而且从官方的态度来看,短时间内也没有考虑的计划。但程序员有这个需求呀。笔者采用的方法,是将需要返回的 err 变量在函数内部全局化,然后结合 defer 统一处理:
这种方案要特别注意变量作用域问题.比如前面的 if err = DoSomething(); err != nil { 行,如果我们将 err = ... 改为 err := ...,那么这一行中的 err 变量和函数最前面定义的 (err error) 不是同一个变量,因此即便在此处发生了错误,但是在 defer 函数中无法捕获到 err 变量了。
在 try ... catch 方面,笔者其实没有特别好的方法来模拟,即便是上面的方法也有一个很让人头疼的问题:defer 写法导致错误处理前置,而正常逻辑后置了,从可读性的角度来说非常不友好。因此也希望读者能够指教。同时还是希望 Go 官方能够继续迭代,支持这种语法。
这一点在 Go 里面,一开始看起来还是比较统一的,这就是 Go 最开始就定义的 error 类型,以系统标准的方式,统一了进程内函数级的错误返回模式。调用方使用 if err != nil 的统一模式,来判断一个调用是不是成功了。
但是随着 Go 的逐步推广,由于 error 接口的高自由度,程序员们对于 “如何判断该错误是什么错误” 的时候,出现了分歧。
在 Go 1.13 之前,对于 error 类型的传递,有三种常见的模式:
这个流派很简单,就是将各种错误信息直接定义为一个类枚举值的模式,比如:
当遇到相应的错误信息时,直接返回对应的 error 类枚举值就行了。对于调用方也非常方便,可以采用 switch - case 来判断错误类型:
个人觉得这种设计模式本质上还是 C error code 模式。
这种流派则是充分使用了 “error 是一个 interface” 的特性,重新自定义一个 error 类型。一方面是用不同的类型来表示不同的错误分类,另一方面则能够实现对于同一错误类型,能够给调用方提供更佳详尽的信息。举个例子,我们可以定义多个不同的错误类型如下:
对于调用方,则通过以下代码来判断不同的错误:
这种模式,一方面可以透传底层错误,另一方面又可以添加自定义的信息。但对于调用方而言,灾难在于如果要判断某一个错误的具体类型,只能用 strings.Contains() 来实现,而错误的具体描述文字是不可靠的,同一类型的信息可能会有不同的表达;而在 fmt.Errorf 的过程中,各个业务添加的额外信息也可能会有不同的文字,这带来了极大的不可靠性,提高了模块之间的耦合度。
在 go 1.13 版本发布之后,针对 fmt.Errorf 增加了 wraping 功能,并在 errors 包中添加了 Is() 和 As() 函数。关于这个模式的原理和使用已经有很多文章了,本文就不再赘述。
这个功能,合并并改造了前文的所谓 “== 流派” 和 “fmt.Errorf” 流派,统一使用 errors.Is() 函数;此外,也算是官方对类型断言流派的认可(专门用 As() 函数来支持)。
在实际应用中,函数/模块透传错误时,应该采用 Go 的 error wrapping 模式,也就是 fmt.Errorf() 配合 %w 使用,业务方可以放心地添加自己的错误信息,只要调用方统一采用 errors.Is() 和 errors.As() 即可。
服务/系统层面的错误信息返回,大部分协议都可以看成是 code - message 模式或者是其变体:
这种模式的特点是:code 是给程序代码使用的,代码判断这是一个什么类型的错误,进入相应的分支处理;而 message 是给人看的,程序可以以某种形式抛出或者记录这个错误信息,供用户查看。
在这一层面有什么问题呢?code for computer,message for user,好像挺好的。
但有时候,我们可能会收到用户/客户反馈一个问题:“XXX 报错了,帮忙看看什么问题?”。用户看不懂我们的错误提示吗?
在笔者的经验中,我们在使用 code - message 机制的时候,特别是业务初期,难以避免的是前后端的设计文案没能完整地覆盖所有的错误用例,或者是错误极其罕见。因此当出现错误时,提示暧昧不清(甚至是直接提示错误信息),导致用户从错误信息中找到解决方案
在这种情况下,尽量覆盖所有错误路径肯定是最完美的方法。不过在做到这一点之前,码农们往往有下面的解决方案:
既要隐藏信息,又要暴露信息,我可以摔盘子吗……
这里,笔者从日益普及的短信验证码有了个灵感——人的短期记忆对 4 个字符还是比较强的,因此我们可以考虑把错误代码缩短到 4 个字符——不区分大小写,因为如果人在记忆时还要记录大小写的话,难度会增加不少。
怎么用 4 个字符表示尽量多的数据呢?数字+字母总共有 36 个字符,理论上使用 4 位 36 进制可以表示 36x36x36x36 = 1679616 个值。因此我们只要找到一个针对错误信息字符串的哈希算法,把输出值限制在 1679616 范围内就行了。
这里我采用的是 MD5 作为例子。MD5 的输出是 128 位,理论上我可以取 MD5 的输出,模 1679616 就可以得到一个简易的结果。实际上为了减少除法运算,我采用的是取高 20 位(0xFFFFF)的简易方式(20 位二进制的最大值为 1048575),然后将这个数字转成 36 进制的字符串输出。
当出现异常错误时,我们可以将 message 的提示信息如下展示:“未知错误,错误代码 30EV,如需协助,请联系 XXX”。顺带一提,30EV 是 "Access denied for user 'db_user'@'127.0.0.1'" 的计算结果,这样一来,我就对调用方隐藏了敏感信息。
至于后台侧,还是需要实实在在地将这个哈希值和具体的错误信息记录在日志或者其他支持搜索的渠道里。当用户提供该代码时,可以快速定位。
这种方案的优点很明显:
简易的错误码生成代码如下:
当然这种方案也有局限性,笔者能想到的是需要注意以下两点:
此外,笔者需要再强调的是:在开发中,针对各种不同的、正式的错误用例依然需要完整覆盖,尽可能通过已有的 code - message 机制将足够清晰的信息告知主调方。这种 hashcode 的错误代码生成方法,仅适用于错误用例遗漏、或者是快速迭代过程中,用于发现和调试遗漏的错误用例的临时方案。
1.方法一:本地启动服务,用浏览器或者postman测试,但是项目有改动再次测试不是很方便
2.方法二:使用httptest结合testing来实现针对handlers接口函数的单元测试 这里直接使用一个开源的单元测试包,已经封装好了
github项目地址:
要测试接口的处理函数
type User struct {
Username string form:"username" json:"username" binding:"required"
Password string form:"password" json:"password" binding:"required"
Age int form:"age" json:"age" binding:"required"
}
func LoginHandler(c *gin.Context) {
req := User{}
if err := c.Bind(req); err != nil {
log.Printf("err:%v", err)
c.JSON(http.StatusOK, gin.H{
"errno": "1",
"errmsg": "parameters not match",
})
return
}
// judge the password and username
if req.UserName != "Valiben" || req.Password != "123456" {
c.JSON(http.StatusOK, gin.H{
"errno": "2",
"errmsg": "password or username is wrong",
})
return
}
c.JSON(http.StatusOK, gin.H{
"errno": "0",
"errmsg": "login success",
})
}
单元测试:
func init() {
//初始化路由
router := gin.New()
router.POST("/login", LoginHandler)
myLog := log.New(os.Stdout, "", log.Lshortfile|log.Ltime)
utilTest.SetRouter(router)
utilTest.SetLog(myLog)
}
type OrdinaryResponse struct {
Errno string json:"errno"
Errmsg string json:"errmsg"
Data UserActivityRespone json:"data"
}
func TestLoginHandler(t *testing.T) {
resp := OrdinaryResponse{}
err := utils.TestHandlerUnMarshalResp(utils.POST, "/login", utils.Form, user, resp)
if err != nil {
t.Errorf("TestLoginHandler: %v\n", err)
return
}
if resp.Errno != "0" {
t.Errorf("TestLoginHandler: response is not expected\n")
return
}
t.Log(resp.Data)
}
文件上传测试:
func TestSaveFileHandler(t *testing.T) {
param := make(map[string]interface{})
param["file_name"] = "test1.txt"
param["upload_name"] = "Valiben"
resp := OrdinaryResponse{}
err := utils.TestFileHandlerUnMarshalResp(utils.POST, "/upload", (param["file_name"]).(string),
"file", param, resp)
if err != nil {
t.Errorf("TestSaveFileHandler: %v\n", err)
return
}
if resp.Errno != "0" {
t.Errorf("TestSaveFileHandler: response is not expected\n")
return
}
}
转自:
go原生接口单元测试:
k6是新兴的性能测试框架,比肩jmeter,另外测试脚本使用js,更加适合自动化的架构。
k6启动的框架是使用golang的cli标准框架cobra,入口函数
进入cobra框架后,我们直接查看getRunCmd,这个是命令run的入口,主要工作都是从这里开始。
重点关注初始化Runner,这个是通过js脚本,使用goja库解析后,生成的实际执行单元。
进入js目录,查看Runner的结构,runner.go
Runner有一些配置属性,另外还有方法,方法用lib.Runner的接口进行规范。
Runner有一个NewVU方法,里面定义了连接参数,实现api测试
返回主函数,在初始化完成Runner后,启动调度器,以及做结果收集
最终封装成一个engine
启动测试
通过实际项目中的单测编写,总结如下几点,帮助我更好的完成单元测试
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流