常用性能测试指标解读与使用价值分析

时间:2008-11-27   来源:   网友评论:0   人气: 285 作者:

一个好的IT管理系统不是市面上技术最最先进、价格最昂贵、由世界上最顶尖的企业和研发团队开发出来的系统,而是在企业预算范围内、最能够被企业IT管理人员接受、与企业业务结合最紧密、能够为企业创造更大的投资回报率的IT系统。

  在今天竞争激烈的市场中,IT管理能力是企业成功的关键。每一个企业都希望花最少的钱获得一个性能最强、使用最便利、安全性最高、与企业业务结合最紧密的IT管理系统。一个好的IT系统能够提高企业管理效率,降低企业运营成本、提升企业在市场上的整体竞争力。  一个好的IT管理系统不是市面上技术最最先进、价格最昂贵、由世界上最顶尖的厂商和研发团队开发出来的系统,而是在企业预算范围内、最能够被企业IT管理人员接受、与企业业务结合最紧密、能够为企业创造最大的投资回报率的IT系统。  对不同的企业来说,评估IT系统的方法和手段应该是完全不一样的。不同企业的规模不一样、业务类型不一样、赢利能力和发展阶段也不一样,要建立一个放之四海而皆准的标准来指导所有企业进行IT系统的选型,这几乎是不可能的。  对于金融、石油等大型企业来说,IT信息系统崩溃给他们造成的利润损失比一般的中小企业来说大得多,他们的数据规模大得多,他们能够在IT系统方面的投入也大得多,因此他们可以尝试去从更大的厂商手中购买性能更高、扩展更更好、技术支持力度最强的IT系统。而这对于一个中小企业来说简直是不可想象,因为购买这样一套系统的花费甚至要超过他们全年的营业收入。  然而,中小企业在全球范围内都是经济的主体。他们不仅仅数量庞大,而且市场反应敏捷,更容易找到新的市场增长点,在市场变革中能够起到的更大作用。尽管,他们单个对整个市场经济增长总额贡献力度不大,但他们在市场持续创新中所起到的积极作用某些时候甚至要超过那些大规模的品牌企业。中小企业要在市场生存,更需要保持自身在技术或者市场上的前瞻性,因此中小企业在某些层面上对IT系统的需求程度更强烈。  目前,市面上能够找到从中小企业实际应用需求出发,与中小企业业务结合程度很紧密的性能测试指标系统少之又少。现在市面上流行的性能测试指标,比如TPCC、SPEC、SAP SD,尽管历史非常悠久,基准测试实施和验核者都是世界范围内的权威机构,这些基准测试的通用性也非常强,但是他们由于对企业实际的个性化应用需求关注不够,对于中小型企业来说参考意义当然也不会很大。因为,不管从硬件和软件考虑,中小企业的业务都有太多特殊性。从这个意义上来说,建立一套从中小企业实际应用需求出发的实用性能评估系统对中小企业IT系统选型至关重要。而建立起这样一套实用的性能评估的前提就是对TPCC、SPEC、SAP SD这些世界性通用性能指标体系有一个更全面、更深入的了解。

TPCC
  TPC-C是一种旨在衡量联机事务处理(OLTP)系统性能与可伸缩性的行业标准基准测试项目。这种基准测试项目将对包括查询、更新及队列式小批量事务在内的广泛数据库功能进行测试。许多IT专业人员将TPC-C视为衡量“真实”OLTP系统性能的有效指示器。  TPC-C基准测试针对一种模拟订单录入与销售环境测量每分钟商业事务(tpmC)吞吐量。特别值得一提的是,它将专门测量系统在同时执行其它四种事务类型(如支付、订单状态更新、交付及证券级变更)时每分钟所生成的新增订单事务数量。独立审计机构将负责对基准测试结果进行公证,同时,TPC将出据一份全面彻底的测试报告。这份测试报告可以从TPC Web站点(http://www.tpc.org)上获得。

  tpmC定义: TPC-C的吞吐量,按有效TPC-C配置期间每分钟处理的平均交易次数测量,至少要运行12分钟。

  1.TPC-C规范概要
  TPC-C是专门针对联机交易处理系统(OLTP系统)的,一般情况下我们也把这类系统称为业务处理系统。
  TPC-C测试规范中模拟了一个比较复杂并具有代表意义的OLTP应用环境:假设有一个大型商品批发商,它拥有若干个分布在不同区域的商品库;每个仓库负责为10个销售点供货;每个销售点为3000个客户提供服务;每个客户平均一个订单有10项产品;所有订单中约1%的产品在其直接所属的仓库中没有存货,需要由其他区域的仓库来供货。
 该系统需要处理的交易为以下几种: 
     New-Order:客户输入一笔新的订货交易;
    Payment:更新客户账户余额以反映其支付状况; 
     Delivery:发货(模拟批处理交易);
    Order-Status:查询客户最近交易的状态;
    Stock-Level:查询仓库库存状况,以便能够及时补货。 
 对于前四种类型的交易,要求响应时间在5秒以内;对于库存状况查询交易,要求响应时间在20秒以内
  2.评测指标  TPC-C测试规范经过两年的研制,于1992年7月发布。几乎所有在OLTP市场提供软硬件平台的厂商都发布了相应的TPC-C测试结果,随着计算机技术的不断发展,这些测试结果也在不断刷新。
  TPC-C的测试结果主要有两个指标:
  ● 流量指标(Throughput,简称tpmC)  按照TPC的定义,流量指标描述了系统在执行Payment、Order-status、Delivery、Stock-Level这四种交易的同时,每分钟可以处理多少个New-Order交易。所有交易的响应时间必须满足TPC-C测试规范的要求。  流量指标值越大越好!
  ● 性价比(Price/Performance,简称Price/tpmC)  即测试系统价格(指在美国的报价)与流量指标的比值。  性价比越小越好!

  3.结果发布  各厂商的TPC-C测试结果都按TPC组织规定的两种形式发布:测试结果概要(Executive Summary)和详细测试报告(Full Disclosure Report)。测试结果概要中描述了主要的测试指标、测试环境示意图以及完整的系统配置与报价,而详细测试报告中除了包含上述内容外,还详细说明了整个测试环境的设置与测试过程。 。


 

文章评论