| huozm32831 |
2021-02-10 19:56 |
经过十年发展，大数据技术已足够成熟，围绕数据存储、处理计算的基础技术，同配套的数据治理、数据分析应用、数据安全流通等周边技术组合起来，形成庞大的技术生态，助力数据价值活力释放。
具体而言，大数据技术正在出现几个重要特征：
第一，大数据基础技术已足够丰富。
大数据时代，最典型的特征就是数据量大，数据源异构多样，数据实时性较高。在这样的背景下，很多企业出现了难以逾越的技术瓶颈，传统集中式计算架构以及关系型数据库单机的存储和计算性能遭遇挑战，无法跟得上业务高速发展需求。于是，规模化并行处理（Massively Parallel Processing，MPP）的分布式计算架构出现。同时，在面向海量网页内容及日志等非结构化数据处理方面，则出现了基于Apache Hadoop和Spark生态体系的分布式批处理计算框架。而Apache Storm、Flink和Spark Streaming等分布式流计算框架，则主要针对实时性数据，满足实时计算反馈需求。
第二，数据管理类技术提升了数据质量
和所有技术一样，大数据也在不断演化，时刻保持着和企业业务需求同频。当企业最基本的数据存储和计算需求得到满足后，更看重的是数据价值。之前，企业因为缺少有效的数据管理工具，普遍存在着数据质量不高、获取难、不容易整合、标准混乱等问题，使得数据可用性差。当企业开始越来越重视数据价值，把数据当做最重要的资产，用于数据整合和集成的技术开始成为刚需。
第三，数据分析技术在大数据时代“偷偷掘金”
有了更好的存储和计算能力，有了高质量数据，如何让数据变现，成为数据应用的最关键一环。没有一家企业只想停留在数据存储阶段，“死数据”对企业没有任何意义，如何将数据中蕴含的数据价值充分挖掘，更好地为业务服务？以BI为主的数据分析工具，一定是“杀手锏”级应用，它与相关的数据可视化技术、机器学习等，形成组合拳，帮助用户分析数据价值，挖掘可用信息。这也是模型应用、以深度神经网络为代表的分析建模技术为什么能在实际业务场景占有重要地位的最根本原因。
第四，数据安全合规及共享技术解决了数据价值挖掘的”最后一公里难题”。
当企业的数据价值凸显，数据的安全和合规问题如影相随，尤其当数据泄露、数据丢失、数据滥用等一系列的安全事件出现后，企业不得不重视严峻的数据安全问题。如何在安全合规的前提下共享数据价值？越来越多的企业不得不采用访问控制、身份识别、数据加密、数据脱敏等保护措施，加固数据应用环境。所以，更侧重于数据流通的安全隐私计算技术，成为大数据发展趋势下的另一股热潮。
总之，随着大数据技术的不断深化和迭代，以数据为核心的大数据产业正在加速重构，未来会有越来越多的技术、数据产品和数据服务形式深入企业实际应用场景中，最终推动各行各业实现信息共享，释放更大经济潜能。 |
|