面向人工智能应用的基准评测系统开题报告

全文总字数：2312字

1. 研究目的与意义

随着人工智能计算的飞速发展，出现了越来越多的面向人工智能应用开发的计算框架，如tensorflow、mxnet、cntk、pytorch等框架，如何评价某个应用领域中的人工智能计算系统成为了学术界和工业界需要解决的首要问题。

benchmark测试是目前最主要的计算机系统性能评测技术，其主要使用科学的评测方法测试系统的某些可量化性能指标，并通过对比不同的系统的测试结果对系统进行评价。在计算机领域，benchmark测试常常根据具体的应用领域的业务特点建立相应的测试规范，依据测试规范设计测试流程，并实现测试系统，通过对应用领域内的不同计算机系统进行测试得到测试结果，测试结果反映出计算机系统在响应时间、传输速度、吞吐量、资源占用率等方面性能表现的优劣。在基于性能的计算机系统设计中，设计者常常根据 benchmark 测试结果寻找满足业务需求的计算机系统将其作为参考。

benchmark测试对生产厂商和用户都很有价值。对生产厂商的作用是为产品进行市场宣传和发现系统的瓶颈; 对用户的作用是指导产品的选择。benchmark 测试最具吸引力的特点就是一个好的 benchmark 测试对于某一领域的技术发展有积极的导向作用, 它会引导生产厂商采用新技术改进产品。

2. 国内外研究现状分析

开发人员在面对众多的计算框架时，如何公正地对人工智能计算系统的性能进行评测以及怎样选择适合自己应用的计算框架成为了热点问题．然而，应用领域的广泛性、数据类型的多样性和数据操作的复杂性使得人工智能基准测试集的设计面临很大的挑战．

随着新的计算机系统不断出现，各种各样的 benchmark 测试技术也应运而生，如面向计算性能测试的parsec，面向云计算服务的cloudsuite，面向延迟敏感服务的tailbench，面向大数据的bigdatabench等等。人工智能领域，也已经出现mlperf性能评测工具。

parsec是一个用于研究单芯片多处理器（cmps）的基准套件。以前可用的多处理器基准主要集中在高性能计算应用程序上，并使用了有限数量的同步方法。parse包括识别、挖掘和合成（rms）领域的新兴应用，以及模拟大规模多线程商业程序的系统应用，该基准套件涵盖了广泛的工作集、位置、数据共享、同步和片外流量。

3. 研究的基本内容与计划

首先，需要针对现有基准评测工作进行调研。目前，已经有针对不同计算系统众多的基准测试应用，需要针对人工智能评测领域的基准测试工具现状作调研，掌握当前人工智能计算系统评测基准科研前沿。

其次，需要对现有的人工智能计算系统，如tensorflow，mxnet，cntk，pytorch等计算系统做调研对比，分析比较各计算系统之间的实现差异，为智能算法的选择提供系统级的支持。

再次，需要调研现有人工智能领域典型算法，选择特定人工智能算法，并将其在计算系统上作开发实现。应用程序的选择应满足一定的原则要求，如应用领域典型性，计算复杂度覆盖性等等。拟选择的人工智能算法包括分类、聚类、深度学习、强化学习等典型机器学习领域。

4. 研究创新点

本工作的主要目标即设计并开发一套面向人工智能计算系统的基准测试应用，该基准测试应用可运行与主流的人工智能计算系统之上，并给出针对计算系统的性能评测结果，为开发人员的系统选择提供性能参考。