给Chrome“捉虫”16000个，Google开源bug自检工具

640?wx_fmt=png

整理 | 一一

出品 | AI科技大本营（ID:rgznai100）

在内部开发和使用八年之久，近日，Google 宣布开源 bug 自动化检测工具 ClusterFuzz。

ClusterFuzz 是一款提供端到端的自动化模糊测试工具：从错误检测到分类排查，再到生成错误报告，最后到自动关闭错误报告。

根据维基百科，模糊测试是一种用于检测软件 bug 的自动化方法，通过向目标程序提供意外输入进行运作。它可以有效地发现损坏内存的 bug，通常会带来严重的安全隐患，需要安全补丁进行修复。手动查找这些问题既困难又耗时，而且即便是严格的代码审查，有些 bug 也会被漏掉。对于用不安全的语言（如 C 或 C++）编写的软件项目，模糊测试是确保其安全性和稳定性的关键一步。

为了使模糊测试真正发挥效用，它必须是连续的且需要大规模执行，要无缝集成到软件项目的开发过程中。具体而言，需要有以下功能：

高度可扩展
准确的重复数据删除
问题跟踪器的全自动错误归档和关闭（仅限现在的 Monorail）
测试用例最小化
通过二分法找回归
用于分析模糊器性能和故障率的统计信息
易于使用的 Web 界面，用于管理和查看错误
支持覆盖引导模糊测试（例如 libFuzzer 和 AFL）和 blackbox 模糊测试

为了给 Chrome 浏览器提供这些功能，Google 开始编写 ClusterFuzz，这是一个在 25000 多个内核上运行的模糊测试基础架构，同时还依赖于 Google 的云存储、数据库、监控设施和数据仓库技术。两年前，他们开始通过 OSS-Fuzz （开源软件的连续模糊测试，ClusterFuzz 是其背后的分布式模糊测试基础架构）向开源项目提供 ClusterFuzz 免费服务。

在开发 ClusterFuzz 的八年时间里，Google 希望这个工具可以融入到开发者的工作流程，并且使得查找 bug、修复 bug 变得异常简单。开源 ClusterFuzz 后，开发者则可以在本地群集上测试 ClusterFuzz，Google 希望鼓励所有软件开发者将模糊测试集成到其工作流程中。

640?wx_fmt=png

ClusterFuzz 在 Google 云中运行的方式是，Google 上传想要测试的程序，在它上面提供意外输入，在发现故障后，自动归档 bug，随后工程师就可以开始着手修复。但需要指出的是，由于依赖于 Google 云的功能，ClusterFuzz 的使用可能会存在一些限制。

多数情况下，ClusterFuzz 的工作流程是自动化的，包括错误检测、分类、错误报告和关闭错误报告。ClusterFuzz 团队指出，像浏览器般复杂的模糊测试产品，ClusterFuzz 提供的自动化测试服务可以节省时间，还能发现在手动进行代码审查时可能漏掉的 bug。早在 2012 年，Google 就使用该款工具每天针对各种 Chrome 版本运行 5000 万个测试用例。

近年来重要的开源项目可以申请加入 OSS-Fuzz 计划，并接收到 Google 的错误报告，具有大量用户群或在全球 IT 基础架构中发挥关键作用的软件项目就可加入。那些被该计划接受的项目也可以访问该工具，例如模糊测试统计数据。

ClusterFuzz 团队表示，ClusterFuzz 是 Chrome 以及许多开源项目开发过程中不可或缺的一部分，它能够在引入后几小时就能发现错误，并在一天内验证修复方法。

现在 Google 已将 ClusterFuzz 与 OSS-Fuzz 结合使用。截止 2019 年 1 月， ClusterFuzz 在与 OSS-Fuzz 集成的 160 多个开源项目中发现了超 11000 个 bug。与此同时，ClusterFuzz 在 Chrome 中发现了 16000 个 bug。

当然，ClusterFuzz 并非唯一的自动化模糊测试工具。据 Venturebeat 报道，2018 年 8 月，Google 还收购了一家专门研究移动图形基准测试工具的公司 GraphicsFuzz，他们的其中一些工具用于找出三星 Galaxy S6 和S9 等手机中的 bug。两年前，微软推出了基于云的模糊测试服务 Project Springfield，用于查找软件中关乎安全的 bug。