信通院闫树：大数据持续高速增长，呈现六大融合趋势

发布时间：2022-05-05　　　　　　　　文章来源：分享通信　　　　　　　　　　　　阅读量：6676

　　在1月3日举行的分享通信尚·5G新商业论坛上，中国信息通信研究院高级工程师闫树表示，2019年全球大数据持续拓展，技术成熟度方面出现了一些演变。例如，美国2019年发布了联邦数据战略第一年度行动计划，底层技术逐步走向成熟。总体来看，大数据产业持续平稳增长，产业发展趋势向好。

　　增长迅速的领域，往往伴随着资本运作。近两年来，大数据巨头合并不断。例如，2019年10月Cloudersa和Hortonworks宣布合并，将影响整个Hadoop的生态；2019年8月，惠普企业收购MapR业务资产。在合规性方面，欧盟GDPR实施了一年，在保护欧盟用户隐私的同时也争议不断。目前美国加州CCPA也开始实施，产业界需要思考如何应对。

　　谈起大数据技术趋势，闫树将其总结为6个融合。

　　第一，算力融合。传统以CPU为底层的硬件无法面对越来越复杂的数据和越来越多的任务负载，需要通过不同硬件来提升计算效率。而目前越来越多的平台支持异构计算的能力，给上面的编程人员提供统一接口，用统一的编程语言调用CPU、GPU、FPGA和其他的硬件加速。

　　第二，流批融合。大数据分为流处理和批处理，最近两个技术开始融合。比如Flink，提供了可变窗口，窗口小到单条数据的时候就是流计算，把窗口拉大就是批处理，现在很多大型的互联网公司都在其生产系统中使用，这是一个非常典型的一个方向。

　　第三，TA融合。TA融合是指事务（Transaction）与分析（Analysis）的融合机制。Gartner提出混合事务/分析处理（HTAP）的架构，旨在实现在单一数据源上不加区分地处理事务和分析任务。

　　第四，模块融合。无论数据中台还是新型数据基础设施，本质上都是一站式数据能力复用平台，将大数据的加工、管理、分析能力沉淀在一个模块，使得不同的数据接口可以方便使用。

　　第五，云数融合。近几年，各大运营商和厂商都推出自己的大数据产品满足用户，构建云原生数据产品，使得大数据分析人员只需要专注于数据和业务逻辑即可。

　　第六，数智融合。一方面，数据为智能提供了养料，大数据使得人工智能和大数据平台越来越智能；另一方面，我们也在把AI算法用到数据治理上，比如说我们可以做数据的实体识别、自动的分类、全局的数据视图自动生成等等。

　　闫树最后表示，大数据发展已经进入新阶段，虽然还面临着原创技术和产品不足，开放共享水平低等问题，但是在新一代信息技术的共同作用之下，新型数字经济会朝着更加互信、共享、均衡的方向发展。

标签：10039,分享通信,soshare,170手机号