一、对象存储成为海量数字底座首选
移动互联网和物联网等技术把我们带入海量数据时代,数据终端呈现指数级增长,数据的类型和数量越来越多。在企业内部,新增数据中超过80%都是非结构化数据。
IT初期规划中,由于数据规模较小,企业往往采用NAS存储非结构化数据。但当文件超过千万级,NAS会出现性能瓶颈,严重影响业务效率;而且数据量攀升带来的频繁扩容、升级,也增加了不小的维护工作量。
对象存储无疑是应对海量非结构化数据增长的 佳选项,从实际部署情况看,越来越多的企业开始将非结构化数据切换到对象存储平台。
二、技术演进带来异构管理困境
IT建设是一个渐进的过程,技术在不断发展,IT基础设施也在不断更新。 早的时候,企业的业务信息量比较小,只用一个文件服务器就可以解决问题。随着业务发展,数据逐渐增多,磁盘阵列、软件定义存储开始成为数据基础设施的中流砥柱。
技术演进造成了存储设备的参差不齐,品牌纷呈。异构环境带来了设备不兼容、数据迁移不便等管理难题。据统计,管理员平均40%的工作时间用于维护存储的管理功能,平均25-50%的存储管理时间用于诊断和解决问题。
在大型数据中心里面,这种情况尤其突出。在交付广发证券档案中心对象存储项目时,客户原有NAS存储了近6000万文件,总容量近40TB,客户利用业务空窗期通过传统方式进行历史数据搬迁,耗时长达2个月,运维工作也需要持续的人力投入。如果对象存储能够快速纳管能力,业务上线时间将会大幅缩短,运维人力将得到释放,客户效益也将进一步提升。
当NAS向对象存储演进成为必由之路,如何避免陷入设备和数据的维护管理,将是所有对象存储厂商必然克服的难题。
三、杉岩MOS帮您免迁移纳管NAS
图1.免迁移纳管NAS,IT架构平滑演进
在MOS海量对象存储纳管NAS设备的过程中,MOS会读取NAS中每个文件的元数据信息,并将其转换为对象存储中的对象属性信息,同时将源文件与桶空间进行映射。纳管完成之后,前端业务可通过S3接口直接访问NAS中的历史数据,后续新写入的数据则直接存入对象存储中。免去了数据迁移与校验的繁琐过程,业务上线的时间大大缩短。
在实际测试中,3个节点的对象存储集群,对1000万个文件进行纳管只需要90分钟,并且无需考虑文件大小。相比之下,使用传统方式迁移1000万个16KB大小的文件,需要12个小时左右的时间,若文件增大,迁移时间将更长。另外,在节点数更多的情况下,纳管时间会更短。
考虑到不同客户对NAS设备的替代需求存在差异,杉岩提供了不同粒度的纳管选项。客户可选择对整个NAS目录进行纳管,也可以只纳管其中的某个子目录,从而实现增量纳管的功能。
此外,如果客户想要淘汰NAS存储,也可通过配置生命周期管理策略,系统自动将NAS中的历史数据逐步迁移到对象存储中,无需人为干预。整个迁移过程完全透明,用户无感知。
四、成功实践
1.中国人保财险
随着互联网与传统行业 ,中国人保财险的互联网业务及用户规模不断扩大, 影像平台的数据量激增,原有NAS存储面临海量小文件性能差、设备扩容复杂、数据安全隐患等诸多挑战。
该项目基于MOS对象存储构建影像数据存储平台,通过纳管原有NAS中近600万文件,实现资源整合;同时将海量小文件性能提升至毫秒级,业务显著提效;在线弹性扩容,满足业务发展需要;通过http协议访问,用户可直接从存储拉取数据,实现影像数据实时调阅。
2.珠海华润银行
珠海华润银行是珠海市首家资产过千亿的独立法人企业,业务涵盖公司金融、个人金融和金融市场等多个领域,现有珠海、深汕两个数据中心。业务持续增长使得交易单号、音视频等非结构化数据激增,日增量在200~400GB,原有NAS扩容费时费力,而且NAS不支持双中心双写,导致异地访问带宽压力大,影响客户体验。
该项目在珠海和深汕数据中心部署6节点对象存储集群,总容量近400TB,替换原有EMC高端NAS存储,上层对接数据管理平台ODS(Operational Data Storage),支撑更大的数据规模和更高的访问性能。通过NAS纳管实现资源整合,综合成本削减超30%,IT预算分配更加合理;高并发优势和双中心数据就近读写能力,让业务提效超过50%,数据可靠性提升2倍以上。
3.国内 大的电子认证服务机构
版权声明:本文为原创文章,版权归 头条123 所有,欢迎 本文,转载请保留出处!
重磅经济数据即将发布 疫情、高温难阻经济复苏大势
安徽省副省长何树山一行参观调研华云数据智能办公平台展台
深圳:加强对知识产权质押物管理和信息数据共享
加强数据安全,12321 将开展电信和互联网行业数
阿里云将于 2022 年在韩国及泰国开设两个新数据
*ST亚联收半年报问询函:要求说明2021年度财务数据存在会计差错的具体原因
泰慕士龙虎榜数据(9月21日)
Gartner 发布2021超 基础架构软件“客户之选” 华云数据等三家中国厂商入选
知了好学发布公告:针对中专网搬运平台数据已起诉立案
中小银行数据治理基础差,精巧破题成关键
突发尾盘异动 30亿资金“压秒”抢筹!光伏逆变器数据造假?1600亿龙头回应!北溪1号暂停向欧供气;乌军持续袭击核电站区域
华为云四大数据新品宣布规模商用,助力企业实现数据驱动决策
华云数据“信创+”生态发布 :赋能信创生态,成就信创伙伴
协创数据:主要从事消费电子领域物联网智能终端和数据存储设备终端等产品的研发、生产和销售
腾讯教育与松鼠Ai达成战略合作,用AI与大数据助力个性化精准教学
诺奖得主托马斯·萨金特出席WISE大会:大数据
【东海观察】8月外贸数据点评:外需回落,8月出口超预期下降
专注数据运营安全|数安行入选《中国网络安全百强报告(2021)》
银行“抢人”大战再起 数据类人才走俏