| huozm32831 |
2021-07-03 15:32 |
大数据是大量数据和数据集，形式多样，来源多样。许多组织已经认识到收集尽可能多的数据的优势。但是，仅仅收集和存储大数据是不够的，你还必须使用它。得益于快速发展的技术，组织可以使用大数据分析将 TB 级数据转化为可操作的见解。
۞ 什么是大数据分析
软件和硬件功能使组织能够进行大数据分析，分析大量原始数据以发现可用于生成智能决策的模式、趋势和相关性。通过使用较新的工具，这些过程将熟悉的统计分析技术（例如聚类和回归）应用于更广泛的数据集。
自 21 世纪初，大数据已成为一个流行词。多年来，从亚马逊到智能手机的新技术增加了组织可以访问的大数据量。
针对大数据的存储和处理，开发了早期的 Hadoop、Spark、NoSQL 数据库等创新项目。在这个领域，数据工程师们正在寻找各种方法来整合传感器、网络、事务、智能设备和网络使用所产生的大量复杂信息。为了发现和扩展更复杂的洞察力，大数据分析方法正在与机器学习等新兴技术相结合。
¤ 大数据分析的工作原理
大数据分析解决方案通过收集、处理、清理和分析大型数据集来帮助组织实施其大数据。
1. 收集数据
每个组织收集数据的方式都不同。使用当今的技术，组织可以从各种来源收集结构化和非结构化数据，例如云、移动应用程序和商店内物联网传感器。将一些数据存储在数据仓库中，BI 的工具和解决方案将能够访问这些数据。
对于数据库来说，过于多样化或复杂的非结构化或原始数据可以用元数据标记并存储在数据库中。
2. 处理数据
一旦收集和存储数据，就必须对其进行适当的组织，以便在分析查询中提供准确的结果，特别是在数据很大且非结构化的情况下。由于可用数据呈指数级增长，企业面临着数据处理的挑战。
成批处理是一种随时间处理大数据块的方法。当收集和分析数据之间的周转时间较长时，成本批处理系统很有用。
流水式处理一次分析小批量数据，减少收集和分析之间的延迟时间。流水式处理更复杂，而且通常也更昂贵。
3. 清理数据
无论数据收集的规模有多大或多小，都需要进行清理以提高数据质量并获得更好的结果；所有数据必须正确格式化，并且必须删除重复或不相关的数据。废数据可能会混淆和误导，导致错误的结论。
4. 分析数据
让大数据变得有用需要时间。一旦准备好，高级分析可以将大数据转化为大价值。这些大数据分析方法包括：
通过识别异常和创建集群，数据挖掘对大型数据集进行排序以识别模式和关系。
在预测分析中，历史数据用于预测未来，识别即将到来的风险和机遇。
利用人工智能和机器学习，深度学习通过对算法进行分层并在最复杂和抽象的数据中寻找模式来模仿人类的学习模式。
۞ 大数据分析工具和技术
分析大数据不能简化为单一工具或技术。相反，需要多种类型的工具协同工作来收集、处理、清理和分析大数据。以下是大数据生态系统中的一些主要工具。
Hadoop 是一个开源框架，用于在商品硬件集群上存储和处理大型数据集。该框架是免费的，可以处理大量结构化和非结构化数据，使其成为任何大数据操作的重要组成部分。
与关系数据库不同，NoSQL 数据库不需要固定方案，因此非常适合处理大型非结构化数据。NoSQL 代表“不仅是 SQL”，这些数据库能够处理多种类型的数据。
MapReduce 是 Hadoop 框架的一个重要组件，它有两个用途。第一个是映射，它将数据路由到集群中的各个节点。缩减是对每个节点的结果进行组织和缩减的过程。
YARN 代表“又一个资源谈判者”。它是另一个 Hadoop 组件。集群管理技术实现了集群内的作业调度和资源管理。
Spark 通过使用隐式数据并行和容错为整个集群编程提供了一个接口。Spark 支持批处理和流处理以实现快速计算。
Tableau 是一个用于准备、分析、协作和共享大数据见解的平台。Tableau 擅长自助式可视化分析，允许人们提出新问题并在整个组织内轻松分享见解。
¤ 大数据分析有很多好处
以更快的速度分析更多数据的能力可以为组织带来巨大的好处，使其能够更有效地使用数据来回答重要问题。通过使用大数据分析，组织可以分析来自多个来源的多种格式的大量数据，识别机会和风险，使他们能够快速行动并提高他们的底线。
以下是大数据分析的一些好处：
节约成本。确定提高组织业务效率的方法
产品开发。提供对客户需求的更好理解
市场洞察。分析购买行为和市场趋势 |
|