安息吧,集成测试

安息吧,集成测试

TL;DR 绝大部分集成测试都可以被“实现合理”的端到端验收测试所代替。集成测试这个概念应该从测试金字塔中去掉。 引子 最近看到好几篇文章提到集成测试(以下简称 IT)在开发中的作用,常说单元测试(以下简称 UT)和验收测试(以下简称 AT)不够用,所以应该上集成测试,等等。这与我最近这一年多的开发经历非常不一致,我不写 IT,只写 AT 和 UT(我是 XP 和 GOOS 的铁粉)。在 TDD 讨论群里,就集成测试和相关话题也和很多朋友聊了不少,感觉是时候写篇文章了。 到底什么是集成测试? 首先让我们看看到底什么是集成测试。其实这个问题很难回答,我从来没见一个合理和明确的定义。鉴于此,这里就用我自己的定义了。简单来说,集成测试就是一种自动化测试,目的是用来“集成”我们的代码,以确保几个代码模块放在一起是可以工作的。 上图是一个简单的网页表单+数据库的应用架构示意图,以 Java / Spring 框架来实现。那么,IT 可能覆盖的代码用虚线椭圆框表示,而 AT 会覆盖所有的代码,UT 则只针对某一个类或者模块。由图可见,集成测试由于缺乏共识,不同团队的实践也不一样,比如有些会把数据库包含在内,另一些则只是包含框架,Controller 和 Domain Object。另一种情况是,团队并不明确区分 UT 和 IT,而是用“Mini Integration Test” 来代替两者。这种情况与单元测试有关,本文就不讨论了。 什么是验收测试以及“端到端”? 验收测试的定义很明确,不论是 XP 中还是实例化需求中,都会把 AT 当做一个有业务价值的场景来看。而且 AT 可以把这样的场景“运行”起来,以此来验证业务价值没有被破坏。根据定义,通常实现 AT 的时候是“端到端”的。以我之前的经验,要把 AT 做好,关键是要理解“端到端”应该从团队视角出发,而不是用户视角出发。 如上图,用户在 App 上注册这个功能如果从用户视角来看,那么端到端就是从注册开始,直到他收到欢迎邮件为止。但如果从团队视角来看,端到端则变成从注册开始到 Api 后端服务将发送欢迎邮件的请求发送给 CRM 系统为止。如果是用户视角的 AT,最终的验证点是用户是否收到邮件(技术上是可行的),而团队视角的 AT,则只要验证是否正确发送请求就可以了。当然现实往往是残酷的,不少公司 App 和 Api 就是分为两个团队开发,那么 App 团队的 AT 就是到发送请求给 Api 为止,Api 团队的 AT 则是从接收到 Api 请求开始。 我的建议是以团队视角实现 AT,在测试中对所有外部依赖进行隔离(如 CRM 系统,就可以用 mock server 来验证请求并给出假的响应数据 )。实话说,绝大部分应用都有不可控的外部依赖(可能来自组织内部或外部),以用户视角来实现 AT 在实际工作中将变得不切实际,难以落地。 集成测试和验收测试的特点比较 有了定义之后,就可以比较一下 IT 和 AT 了,请看下表: 集成测试 验收测试 目的 集成代码并确保代码放在一起是可以工作的 代表有业务价值的场景并确保其不被破坏 实现复杂度 IT 通常需要启动框架或容器,涉及数据库或 Api 调用时,要进行必要的数据控制和 Mock 后端服务的 IT 不会打开 App 或者浏览器这样的 GUI。而前端代码的 IT  则不会启动所需的服务 AT 需要启动整个被测系统,对所有涉及的数据和 Api 进行控制 AT 会打开 App 或者浏览器来进行测试,测试运行会“途径” 代码中的每一层 运行时间 IT 运行的时间介于 UT 和 AT之间,一个 IT 大概是几百毫秒到一两秒 AT 运行的时间比 IT 长,一个 AT 大概是几秒到几十秒。 如果 IT 和 AT 都做同样的数据控制并 Mock 外部依赖,那么两者的时间差主要是启动 App 或者浏览器所需要的时间 运行环境的复杂度 IT 的运行环境通常是模拟环境,可能不用启动整个被测系统。比如,基于 Spring 框架的 IT 就可以利用 SpringJUnitRunner 来实现 AT 的运行环境是和开发环境一致的,仅仅是环境配置不同(比如测试数据库的链接) 定位问题的难度 如果 IT 失败,定位问题其实并不容易,因为涉及代码也不少 如果 AT 失败,定位问题更难,因为涉及了整个系统 为什么说应该用验收测试来代替集成测试? 基于上面的比较,来看看为什么验收测试可以代替集成测试吧: 目的:IT 的目的是集成代码,代表业务场景的 AT 一样可以集成代码,而且集成的代码更加完整并有业务上的意义。这回合,AT 完胜 IT。 实现复杂度:在 IT 出现的年代,端到端测试框架和服务Mock技术尚不成熟,实现 IT 的复杂度的确比 AT 要低不少。然而,现在这些框架和工具都已经很成熟了,如 cucumber ruby 的生态圈(包括 cucumber/capybara/selenium/appium/mock-server/factory-bot/activerecord 等等),AT 的实现复杂度已经大大下降了。这回合,AT 胜在生态圈已经追平甚至超过 IT 了。 运行时间:这恐怕是 IT 的拥护者们最有信心的一点了,IT 就是比 AT 快,还快不少呢。的确,即使以目前的技术,AT 的运行时间依然是 IT 的10...
阅读更多
你用错 Page Object 了吗?

你用错 Page Object 了吗?

什么是 Page Object ? Page Object 是在基于UI的自动化测试中经常被用到的一种设计模式。其目的是对在测试代码中被反复使用的页面元素和操作进行封装,从而去除重复代码,使其更容易被理解和维护。如果需要了解更多有关 Page Object 的内容,可以参考 https://martinfowler.com/bliki/PageObject.html。 Page Object 是如何被用错的?  虽然 Page Object 被广泛使用,但是经常能见到这个模式被用错。让我们先看看下面的 gist,这是一个误用的例子。 public class AddBudgetPage {    @Autowired    UiDriver driver;    public void open() {        driver.navigateTo("/budgets/add");    }    public void inputMonth(String month) {        driver.inputTextByName(month, "month");    }    public void inputAmount(int amount) {        driver.inputTextByName(String.valueOf(amount), "amount");    }    public void save() {        driver.clickByText("Save");    } } public class BudgetSteps {    @Autowired    AddBudgetPage addBudgetPage;    @When("^add a budget with month \"([^\"]*)\" and amount (\\d+)$")    public void add_a_budget_with_month_and_amount(String month, int amount) throws Throwable {        addBudgetPage.open();        addBudgetPage.inputMonth(month);        addBudgetPage.inputAmount(amount);        addBudgetPage.save();    } } 先来解释一下这个代码。AddBudgetPage 是一个 Page Object,他提供了四个方法(open, inputMonth, inputAmount, save)来操作添加预算的页面。而这些方法则被 BudgetSteps 中的 add_a_budget_with_month_and_amount 方法来使用,以此来实现 UI 自动化测试中添加预算这个动作。BudgetSteps 是 Cucumber JVM 中定义的 Step 文件,关于 Cucumber JVM 可以参考 https://github.com/cucumber/cucumber-jvm,这里就不深入了。AddBudgetPage 中的那个 driver,则是对 Selenium web driver 的一个封装,与本文所提及的内容无关。 那么,这个 AddBudgetPage 到底哪里错了?其实就是那四个方法有问题。这些方法实际上是“添加预算”这个业务动作的“分解操作”,是实现细节。从封装的角度来看,以 inputMonth 为例,inputMonth 只是封装了输入预算所在月份的操作细节,即表单中月份输入框的 name 是 month 这个细节。这种粒度的封装可以避免将来输入框 name 修改带来的麻烦,但如果添加预算的业务变了,比如增加了一个叫“部门”的新属性,那么就不得不为 AddBudgetPage 增加一个新方法 inputDepartment。同时,所有用到 AddBudgetPage 的 Step...
阅读更多
用 Cucumber 实现微信小程序的验收测试

用 Cucumber 实现微信小程序的验收测试

最近微信小程序的开发如火如荼,现代互联网开发这个课程自然不能落伍哈。我连夜搞出了 bbuddy 的小程序版,同时实现了自动化测试。特此献上小视频(时长1分18秒)一个,大家可以先睹为快 你和你的团队是不是也在搞小程序呢?是不是也想对小程序做自动化测试呢?欲知详情,欢迎来报名参加下个月的 CSD 课程(暨现代互联网开发课程)...
阅读更多