图形工作站、集群应用方案
  • 网站首页
  • 商城
  • 产品
  • 行业计算
  • 科学工程计算
  • 化学&生物
  • 图形设计
  • 图像处理
  • 视景仿真
  • 人工智能
  • 影视后期
全球领先的高端图形工作站供应商

免费测试 热线 : 400-7056-800 【 为任何应用提供 最快计算设备 如不符,退货】【最新报价】【选购指南】【京东商城】



企业通用模版网站

  • 科研团队全能超算平台25v1
  • 超高分拼接 数字孪生
  • 科学计算MatLAB工作站24
  • 地质建模 油藏模拟工作站
  • 工业CT扫描 机器视觉计算
  • 电力系统关键应用配置24
  • 网站首页
  • 商城
  • 产品
  • 行业计算
  • 科学工程计算
  • 化学&生物
  • 图形设计
  • 图像处理
  • 视景仿真
  • 人工智能
  • 影视后期
  • 送无人机啦 8核6.4GHz  96核4.8GHz 加速改装 

  • 高性能集群 虚拟并行计算 芯片设计 光学仿真 

  • 蛋白质预测 生物信息 冷冻电镜 材料模拟

  • RSS订阅
  • 理科计算推荐
  • 仿真计算最快最完美25v1
  • 电磁仿真单机与集群25v1
  • 航拍实景建模单机集群
  • 遥感图像处理工作站集群
  • 4K/8K剪辑特效调色24v1
  • AI大模型工作站集群25v1
  • Abaqus硬件配置大全24v3
  • CST电磁仿真工作站25v1
  • 多物理场仿真单机与集群
  • 流体/空气动力学仿真25v1
  • 量子化学 分子动力模拟
  • 三维设计24v2  3D打印

 

您的位置:UltraLAB图形工作站方案网站 > 存储技术 > 存储集群 > 集群存储解决视频行业中并发访问带来的IO压力

集群存储解决视频行业中并发访问带来的IO压力

时间:2008-11-29 03:53:00   来源:UltraLAB图形工作站方案网站   人气:13185 作者:admin

随着网络视频行业不断走向成熟,越来越多的企业都参与到视频网站建设中来,竞争愈加激烈,而带宽、服务器、存储、编解码等各项技术直接关系到竞争优势。存储系统作为视频数据的载体,其IO性能和可扩展性、可靠性对整套系统架构起着至关重要的作用。

集中存储

在面对海量数据存储时,以往用户会采用传统的使用方法:集中存储,将所有的数据存放于一个单一大容量盘阵或者存储服务器中,并采用较高等级的RAID进行数据保护(如RAID 5、RAID 6等)。

这种类型的方案确实给用户带来了一定的益处,那就是数据可以集中管理,用户不用忙于数据迁移工作。但集中存储方案中整套业务的可靠性完全集中于单个存储设备之上,用户将所有数据集中存放将会带来集中崩溃的反作用。而且故障发生点也不仅局限于磁盘,网络、RAID控制器、供电、系统、人为误操作等各类故障都潜在威胁着数据安全,任何一点的故障都可能造成服务中断,甚至数据丢失。

数据存储采用集中式存储时,所有的数据读写都必须通过其有限的IO总线。尤其在视频分享一类的应用中,大量用户并发访问会给存储系统带来巨大的IO压力。

分散存储

数据的分散存储结构将服务器的计算资源与存储资源紧紧地绑定在一起,等于是各项资源被困在某一处。在计算资源方面,即使是一部分热点数据前端的应用服务器计算处理能力不足,大部分较为冷门数据前端的应用服务器也得不到充分利用。在存储资源方面,也存在部分存储系统空间被耗尽,而其他存储系统却只有小部分数据。这样,由于资源难以灵活调度,庞大的计算资源和存储资源利用率低下。

在数据量不断扩大的情况下,存储的规模也会不断扩展,整套存储平台的管理维护工作的难处也就逐渐地凸现出来,平台的潜在故障对数据安全性的威胁也逐渐增大。

数据一旦被分散存储到多套存储系统上,各存储系统的网络、磁盘、软件BUG、人为误操作等各种危险故障,都会给部分数据造成威胁。并且,随着规模扩大,各种故障出现的概率也就越大。管理员为了保障数据的安全而忙于处理数据备份、迁移,过多的人为参与也增加了误操作的危险。

集群存储

目前,非结构化数据爆炸性增长、传统存储系统难以满足需求,于是诞生了一种新型数据存储方案:集群存储。它采用数据分布到集群中各节点上的存储方式,提供单一的使用接口与界面,使用户可以方便地对所有数据进行统一使用与管理。集群存储将集群中所有磁盘设备整合到单一的共享存储池中提供给前端的应用服务器,极大提高了磁盘利用率。集群存储系统同时集合了NAS的数据共享和SAN的高性能等特性,可以为非结构化数据提供具备极高IO带宽和灵活可扩展性的存储解决方案。

集群存储现在已经发展到了一个成熟的时期,多款成熟的产品已经在不同的生产领域得到实际使用,帮助企业提升竞争力。例如,著名视频分享网站Youtube,使用Google的GFS等集群存储技术搭建了极具伸缩性和性价比的集群存储架构,以支撑极高的并发访问量和视频上传量,具有高聚合带宽和高可用的特点,并很好地控制了软硬件费用支出,为业务长期运转打下了良好基础。

LoongStore大规模集群存储系统是北京龙存科技有限责任公司的旗舰产品,具有自主知识产权。那么,该产品是如何解决视频分享网站所关心的存储难题的呢?

如何满足视频分享不断增长的IO带宽和存储容量需求?LoongStore大规模集群存储系统由应用服务器集群、元数据服务器集群、智能存储服务器集群等三部分组成,各部分都以通用服务器硬件为构建单元,并且都具有动态扩展能力。当视频分享服务器增加、IO带宽需求增加时,用户可以动态添加智能存储服务器,以获得更高的聚合带宽和更大的存储容量。

存储集群中有软硬件故障是否会影响业务正常进行?LoongStore大规模集群存储系统在集群环境中使用了数据高可用技术,可以避免因节点、网络、系统等故障和人为误操作引起的业务中断和数据丢失,系统内置的故障恢复流程可以在无用户参与的情况下完成处理。 #p#page_title#e#

LoongStore已经被国内多个大型视频分享网站所采用。由于使用通用的服务器硬件,用户无需考虑兼容性、价格、复杂的配置等因素。在实际使用中,LoongStore存放着上千万个视频短篇,提供数百TB的存储容量、高达数GB的聚合带宽,企业以更低的支出成本获得了更高的IO性能,管理员也从原来数据迁移与故障恢复工作中脱离出来。

关闭此页
上一篇:自主创新集群存储系统 蓝鲸集群存储
下一篇:没有了

相关文章

  • 05/09Xeon6代+4块GPU--图灵超算工作站GT450M介绍
  • 05/09汽车风阻测试模拟分析、算法,及服务器/工作站计算设备硬件配置推荐
  • 04/26高频交易(HFT)应用分析、算法,服务器/工作站硬件配置推荐
  • 04/25衍生品定价与风险对冲应用分析、算法,及服务器工作站硬件配置
  • 04/25量化交易策略应用算法分析、服务器工作站硬件配置
  • 04/24金融风险管理应用算法分析、服务器/工作站硬件配置推荐
  • 04/19油藏模拟软件的算法分析以及图形工作站/服务器硬件配置推荐25v2
  • 04/17大型3D设计软件CATIA-算法分析与图形工作站硬件配置
  • 04/17Cadence EDA主要软件计算特点分析,服务器/工作站硬件配置推荐
  • 04/16Synopsys EDA主要软件计算特点分析,服务器/工作站硬件配置推荐

工程技术(工科)专业工作站/服务器硬件配置选型

    左侧广告图2

新闻排行榜

  • 1集群存储:让存储进入“动车时代”
  • 2自主创新集群存储系统 蓝鲸集群存储
  • 3集群存储解决视频行业中并发访问带来的IO压力
  • 4全面解析存储集群系统
  • 5利用Linux和GFS打造集群存储
  • 6对象存储:Linux集群中高性能共享存储
  • 7存储技术概述:集群存储的产生及发展
  • 8存储技术概述——集群存储

最新信息

  • 对象存储:Linux集群中高性能共享存储
  • 利用Linux和GFS打造集群存储
  • 集群存储:让存储进入“动车时代”
  • 存储技术概述——集群存储
  • 自主创新集群存储系统 蓝鲸集群存储
  • 集群存储解决视频行业中并发访问带来的IO压力
  • 全面解析存储集群系统
  • 存储技术概述:集群存储的产生及发展

应用导航:

工作站产品中心 京东商城 中关村商城 淘宝商城 超高分可视化商城 便携工作站商城 ANSYS CATIA Microsoft INTEL NVIDIA 网站统计

公司简介-业务咨询-招聘英才-资料下载-UM-

本网站所有原创文字和图片内容归西安坤隆计算机科技有限公司版权所有,未经许可不得转载
陕ICP备16019335号 陕公网安备61010302001314号
Copyright © 2008-2023 , All Rights Reserved

首页
热线
商城
分类
联系
顶部