Web海量文件测试——IO性能成瓶颈

时间:2009-03-31   来源:   网友评论:0   人气: 596 作者:

构架在千万级的文件系统上的Web系统,性能到底如何?

通过海量文件生成后,进行实际的Web高强度测试,可以看出问题所在。

测试前的准备:

在前面Blog中已经预告了。即采用海量文件生成系统(亿万级海量文件生成器),生成海量文件。

这里测试了2个磁盘系统,一个是Scsi的146G磁盘,一个是STAT300G,前者生成了近1900万文件,后者生成了3300万文件。

在生成文件时,其表现也是逐步降低,从开始的每秒300个文件生成,到最后80个文件左右,可以看出Windows的NTFS系统在海量小文件的应用中,成线性下降趋势(即文件越多,速度越慢)。

Web负载测试结果:

由于是生成的千万级的文件系统,所以为了性能和更方便测试,采用自主开发的测试软件Web LoadRunner,软件采用多线程,可并发高速访问。

下面是2个磁盘系统的测试表现:

图1:STAT300G磁盘10小时连续负载压力测试图

在新窗口查看图片

图2:SCSI46G磁盘10小时连续负载压力测试图

在新窗口查看图片

说明:趋势图中有几次特别高的访问,是属于网络链接问题,导致空链接。并发实际WEB服务器性能体现。

  1. Scsi磁盘系统,前10多分钟的表现特别,达到600次每秒下载链接,但10分后,逐渐线性下降,最终到120分钟后,平稳在100次每秒;根据分析,一方面原因可能是前面文件磁盘碎片少,访问效率较高,二方面由于磁盘缓存的作用,对前面的文件命中率较高。
  2. Stat磁盘系统,走来就比较平稳,但性能却很差,基本保持在80-100次/秒之间
  3. 从这可以看出,Scsi磁盘系统的性能,整体是优势于STAT很多的。

结论

从这次测试可以看出,Web服务器的海量访问(静态页面,非动态),磁盘的IO系统是性能瓶颈,解决好IO问题,是提高海量文件高强度、高效率的重点。

所以解决方案:

1,采用SAS(Scsi)+Raid高性能磁盘系统;

2,采用分布式文件系统,均衡IO的负载;

3,采用Web缓存技术,不过面对动辄几百、上千G的海量文件系统,缓存有点力不从心;

4,采用更先进的文件系统。不过在Win系统之上,只能是NTFS。


IOPS提升几十倍-英特尔X25-E 服务器级固态盘

现货:全球最快的Fusion-io SSD硬盘卡述评

文章评论


新闻排行榜

最新信息