面对千亿级产业空间，各大云计算厂商以及ICT（信息与通信技术）企业纷纷抢占高地，“东数西算”赛道持续火热。

文｜刘鹏   张燕

关键词 东数西算  云存储  虚拟化   云数据库  云传输  云视频  云原生  场景应用创新

  随着“东数西算”工程的正式启动，新基建、大数据产业以及周边配套产业迎来重大利好和投资机会。面对千亿级产业空间，各大云计算厂商以及ICT（信息与通信技术）企业纷纷抢占高地，“东数西算”赛道持续火热。那么，是否所有“东数”都适合“西算”？支撑“东数西算”的核心技术与应用又有哪些？

并非所有“东数”都要“西算”
     信息传输具有两个关键指标——带宽和时延。受限于物理规律，无论带宽多大，速度多快，时延是客观存在的，永远无法克服。这也意味着在将东部数据传输至西部进行存储和处理的过程中，如果是要求迅速反馈结果的实时应用，通过“东数西算”则无法兼顾时效，因此它并不适用于数据密集型且时效紧迫性的数据应用。
     换言之，需要被计算节点频繁访问的、网络时延要求高的在线类“热数据”不适合“西算”，比如灾害预警、远程医疗、金融证券等；而对于离线类不经常访问的、网络时延要求不高的“冷数据”以及介于两者之间的“温数据”，则更适合 “西算”，比如离线分析、后台加工、存储备份等。
     “冷数据”和“温数据”占据了目前数据总量的绝大部分，这些数据主要包含以下两大类型，一类是用于检索的应用数据，比如电商检索型数据等；另一类是长期记录的数据，比如数字档案等，这些数据传输量不大，但是日积月累，以数据量+计算力也可以产生惊人的效应。
     在以上两大类数据的应用中，“东数西算”可以充分应用梯式计算原理。针对不同组织架构或应用场景，各梯次的业务处理、资源服务能够自动化地、柔性地根据需求进行组织或重组，并部署与之适应的微服务，而不受硬件资源的限制，从而实现各层算力资源的配置共享与负载优化。
    比如构建基于梯式计算的“新型人脸识别应用服务系统”，基于社会治理数据，提高前端设备的智能处理能力，将部分视频图像分析处理迁移到边缘端，将全局分析功能放在云上，降低云平台中心端的计算、存储、网络等资源要求，提高大规模人脸识别分析速度和分析效率，进而增强社会面管理能力。
    再如基于梯式计算的“智能交通优化系统”，借助智慧路灯伴侣、交通流量摄像机等边缘设备，搜集、处理实时交通数据，上传到云上的大数据平台进行实时拥堵分析，再将智能分析后的结果传到边缘端，实现信号配时优化由被动变主动，从局部到宏观，整体上提升交通调度效率。

支撑“东数西算”的核心技术
  落地实施并非一蹴而就，作为辐射全国的国家级战略，“东数西算”工程在带来发展机遇的同时，也面临诸多挑战，比如算力平台、网络传输、数据治理等都是工程推进的关键环节，同样需要经历攻坚克难的打磨过程。在这个过程中，充分发挥云存储技术、虚拟化技术、云数据库技术、云传输技术、云视频技术以及云原生技术的合力，可进一步为“东数西算”国家新基建布局以及数字化创新提供支持。这些硬核技术对普通人来讲并非遥不可及，它们的应用正逐渐走入我们的日常。
高效存储海量数据：云存储+虚拟化
    无论是在东部城市数据中心托管的“热数据”，还是迁移到西部算力枢纽节点的“冷数据”，首当其冲面临的就是数据存储问题，必然依托云存储和虚拟化技术。近几年国内云存储技术发展迅猛，已经从学习开源云存储技术，逐步向自主知识产权的云存储技术转变。其中，cStor云存储系统可以说是典型代表。
    同时结合软件与硬件的cStor云存储系统采用分布式的存储机制，将数据分散存储在多台独立的存储服务器上，对外提供一个虚拟的海量存储卷，具有性价比高、低功耗、高可靠、通用、免维护等优势，可广泛应用于具有海量数据存储需求的场合。其中，cStor A8000低功耗云存储系统，可搭载总存储容量高达5376TB（相当于可以存储超过500万部1GB容量大小的电影），同时比传统云存储产品节能3倍，已成功应用于平安城市、智慧交通、智慧环保、医疗健康等多个领域，可同时兼顾“东数西算”规模化存储和绿色节能的需求。
     在“东数西算”实施中，也需要充分发挥虚拟化技术的力量，以实现资源的优化和动态扩展。虚拟化技术由IBM公司于20世纪60年代推出，当时主要用于IBM大型机的服务器虚拟化。其核心思想是利用软件或固件管理程序构成虚拟化层，把物理资源映射为虚拟资源，在虚拟资源上安装和部署多个虚拟机，实现多用户共享物理资源。
     对于数据中心而言，虚拟化可以实现资源的动态分配和调度，提高现有资源的利用率和服务可靠性；提供自动化的服务开通能力，降低运维成本；具有有效的安全机制和可靠性机制，满足公众客户和企业客户的安全需求；同时也可以方便系统升级、迁移和改造。随着云计算的发展，传统的数据中心逐渐过渡到虚拟化数据中心，即采用虚拟化技术将原来数据中心的物理资源进行抽象整合，这也为“东数西算”数据中心建设提供了重要参考。

集中处理海量数据：云数据库技术
      海量数据的处理和分析贯穿于“东数西算”工程的全生命周期，对于云数据库技术的要求不可谓不高。近年来，随着数据的爆发式增长，国内外云计算大数据库技术发展进入了一个迅猛发展的阶段，从Google公司的Bigtable，Amazon公司的Simple DB、Oracle公司的Exadata、EMC公司的Greenplum等，到阿里巴巴的OceanBase和云创大数据的数据立方（DataCube），百花齐放。
     OceanBase主要是为解决淘宝网的大规模数据而产生，它是一个支持海量数据的高性能分布式数据库系统，可以达到管理数千亿条记录的规模，具有数据强一致、高可用、高性能、在线扩展等特点，同时也是刷新世界纪录的国产原生分布式数据库。OceanBase不仅提供关系数据库的功能，同时能为客户提供交易处理和商业智能分析，已连续 8 年稳定支撑“双 11”。除了阿里巴巴使用OceanBase以外，OceanBase客户还包括中国工商银行、中国石化、交通银行、浦发银行、中国人民保险、中国移动等。
     数据立方则通过引入索引模块、并行执行架构以及读取本地磁盘的执行方式，把对数据集的大规模操作分发给网络上的每个节点实现数据处理，每个节点周期性地把完成的工作和状态的更新报告返回，随着节点增多，其处理能力将成倍增长，使查询达到实时完成、简单易用、可靠安全的效能，使EB级的数据能够秒级处理，不仅在查询和检索这部分数据的时候具有非常高的性能优势，还可以支持数据仓库存储、数据深度挖掘和商业智能分析等业务。比如在移动通信实时处理分析应用中，数据立方可提供高性能的信令实时查询和分析服务，处理速度达到秒级，同时应用算法冗余保障数据的安全可靠，大大减少了数据处理的硬件成本、时间成本和人力成本，频频受到运营商的青睐。

跨域交互海量数据：云传输技术
       在“东数西算”中，如何实现海量数据的跨区域传输是重中之重。基于高性能可靠文件传输协议，cTrans云传输系统采用并行流水线方式，将传输与存储作联合优化，特别适合海量数据的远程传输，能够将远程数据传输效率提高4?80倍，可大大提高跨数据中心之间传输数据的效率。
       具体而言，通过应用cTrans云传输系统，无论是本地服务器还是云端的数据，都能够无障碍流动，打破了IT基础设施间的物理隔阂，解决了场景数据流转问题，使大量业务应用场景变得可行；可以统一管理分散的存储资源，更好地利用已有的数据资产；实时监控传输任务，确保整个传输过程“可见、可控”；审计全网传输历史，定期生成统计报表，便于用户存档和分析。
     在发展的不同阶段，cTrans云传输系统可帮助应对不断变化的数据传输挑战，降低成本、深挖价值、助力增长，持续推动业务运转效率提升。目前，该系统已广泛应用于视频传输、节目分发、数据灾备以及大规模数据传输等。

智能理解视频数据：云视频技术
     在“西算”的“东数”中，即在应用西部算力资源计算的东部数据中，视频数据占比不可小觑。这些数据来自众多异构监控平台，有着不同的标准，面临技术智能化、数据共享化等难题。对此，cVideo云视频系统采用超融合架构，应用云计算的强大处理能力和海量存储能力，在同一套集群中既可以接收视频，同时也能很好地支撑海量视频数据的存储、分析、索引、检索、转码、应用等，避免分区域分环节的视频存储与应用，并将不同设备、不同平台、不同标准的视频资源集中起来，实现有效共享与整合利用，目前已在两个城市承载超过10万路的视频规模，相当于接入超过10万个监控画面，可为“东数西算”提供视频数据的整合应用支撑。
     在“雪亮工程”的建设中，cVideo云视频系统助力打造综合调度视频整合平台，整合了从市到县的监控系统，满足了大规模视频监控、海量数据存储以及远距离监控的要求。对于采集的监控数据(包括公安、交管、店铺等)，将其统一汇总到cStor云存储平台上。工作人员可以上传、存储、下载、浏览以及分析大量监控视频资料，并通过智能分析各种视频监控信息，为社会管理、城市管理、道路交通指挥、应急管理等各项智慧应用提供准确完整的视频信息。

    目前，与cVideo云视频系统配套的智能分析算法，充分结合前沿的图像处理技术与模式识别技术，同时承载和分析海量视频，实现对海量视频的事件检索，对事件发生视频进行切片回放、运动帧提取和对象跟踪，现已实现火焰检测、烟雾检测、打架事件检测、车流量统计分析、车速判定、交通事故判定、遗留物检测、入侵检测等。通过优化的智能识别算法，能够大大降低误检率和错检率，提高检出率并发出相应的报警信号。该智能分析算法同时也应用在大规模人脸比对、车牌识别、车辆实时追踪等多个领域，并得到行业内的充分认可，在“东数西算”的视频数据处理场景中同样具有建设意义。
更多场景应用创新：云原生技术
    在数字化浪潮下，软件开发者和IT运维管理人员逐渐改变过去本地独立开发运行的模式，云原生概念也随之诞生。“东数西算”作为数字基建的重要组成部分，同时也是数字经济的落地项目，可以充分吸纳云原生的前沿理念，进一步加速创新数字化模式。
    在数字世界里，互联网可以看作由一条条“贸易航线”交织而成，而软件和数据犹如在航线上行驶的“船只”和“货物”。在传统的IT架构中，每个企业在自家船只上部署计算、存储、网络等IT基础设施，如果有新增业务需求，则需要增添设备，而当需求降低甚至消失，各种设施只能闲置，此时设备利用率较低。后来，引入云计算模式后，相当于由几家大型货运公司提供标准化船只，如果企业船只有业务需要，可以请这几家货运公司“托运”，按需付费即可，节省了企业大量购置基础设施的费用。而云原生技术的引入，相当于为这些标准化船只进一步配备了灵活的集装箱，高可用、富有弹性，装卸方便，节奏比较快，进一步提高了云计算服务的效率和体验。
    换言之，云原生技术就是“在云上生”，直接使用云的基础设施进行开发，以微服务赋予应用敏捷性，以轻量级的容器技术作为载体，以DevOps（开发和运营之间实现流程自动化的方法）降低研发风险。具体而言，其应用云计算服务模型的低成本优势，敏捷地构建容错性好、易于管理和便于观察的松耦合系统，在云端调用轻量级服务，结合可靠的自动化手段，动态组合不同服务构建应用，实现运行环境透明化，研发流程流水化，基础设施服务化以及开发与运维一体化。
     云原生平台具有可靠性、可用性和弹性等特征，对于资源的使用不受限于具体某台物理机的存储、CPU、内存等，比如阿里云。阿里云云原生应用平台提供了完善的容器服务、函数计算、微服务体系、消息中间件体系以及系列基础服务应用工具，通过产品选择或组合搭建，轻松完成应用与运行环境解耦，10倍提升研发运维效率，同时应用全生命周期托管及诊断运维智能化，一站式提供云计算弹性及分布式架构的技术红利。
     比如目前常见的电商直播带货，不少商家频繁大促，系统面临稳定性保障压力，如何保障商城系统稳定顺畅运行是关键前提。对此，通过引入容器应用以及配套服务，优化测试、容量评估、扩容等环节，在提升产研效率的同时，进一步保障系统稳定性；对于线上教育而言，业务访问具有潮汐特性，访问高峰一般在晚间和节假日，可以通过云原生解决方案，在用户和流量突然爆发的情况下，快速响应研发需求，提升用户体验，同时避免资源浪费，降低技术成本。
     “东数西算”作为继“南水北调”“西气东输”“西电东送”之后的又一重要发展战略，协调“东部”与“西部”的资源和能耗，应用西部天然的土地、能源和气候优势，以满足东部激增的算力需求，从而增强国家整体算力效能，促进绿色发展。其间，上述技术的综合运用，可为“东数西算”落地提供强有力的技术支撑。■

作者单位 南京云创大数据科技股份有限公司