预计到2025年，联网设备的数量将增加两倍。相应地，物联网正在加入重要的大数据源。这使得数据从业者将注意力转向物联网大数据。
物联网大数据的性质
物联网大数据与其他大数据类型明显不同。要形成清晰的画面，想象一个不断生成数据的传感器网络。例如，在制造中，它可以是特定机械部分的温度值，以及振动、润滑、湿度、压力等。因此，物联网大数据是机器生成的，而不是由人类创造的。它主要代表数字的流动，而不是文本的块。
现在，想象一下，每个传感器每秒产生 5 次测量，总体而言，您安装了 1，000 个传感器。而这种大容量数据是不断流动的（顺便说一句，这样的数据有一个特殊的名称 - 流数据）。当然，纯粹的数据收集不是你的最终目标 - 你需要有价值的见解，其中一些尽可能接近实时。如果压力突然降到临界水平，你就不会高兴知道这一点，只有几个小时。到那时，您的维护团队可能已经在尝试修理损坏的机械单元。
此外，物联网数据是特定的位置和时间。虽然示例可能很多，但在这里我们仅会提到几个示例：位置数据对于了解哪些传感器传达可能表示即将发生故障的读数至关重要，而时间戳对于识别可能导致机械故障的特定模式至关重要。例如，每十秒钟温度值增加 5 F，但仍不会超过阈值，这导致压力增加 1，000 Pa 一分钟。
物联网大数据的存储、预处理和分析
当然，您的业务目标始终为解决方案的架构奠定基础。尽管如此，物联网大数据的性质在数据存储、预处理和分析方面留下了印记。因此，让我们仔细看看每个过程的具体功能。
物联网大数据存储
由于您必须处理大量不同格式的快速到达的结构化和非结构化数据，传统的数据仓库将无法满足您的要求 - 您需要一个数据湖和一个大数据仓库。数据湖可分为几个区域，如着陆区（原始格式的原始数据）、过渡区（用于基本清理和过滤后的数据以及来自其他数据源的原始数据），以及分析沙盒（用于数据科学和探索活动）。需要一个大数据仓库从数据湖中提取数据，进行转换，并以更有条理的方式进行存储。
物联网大数据预处理
重要的是要决定您是想存储原始数据还是已经预处理过的数据。事实上，正确回答这个问题是与物联网大数据相关的挑战之一。让我们回到我们的示例中，传感器每秒通信 5 个温度值。一种选择是存储所有 5 个读数，而另一个选项是只存储一个值，例如每个聚合期的平均/中位数/模式为一秒。要清楚地看到这种方法对所需的存储容量有何不同，您应该将传感器的总数乘以预期的运行时间，然后乘以其读取频率。
如果您属于70% 重视实时管理数据的组织，并且您的计划的一部分是获得实时见解，则无需将所有读数发送到数据存储，仍可以进行实时警报。例如，您的系统能够吸收整个数据流，并且设置了触发即时警报的关键阈值或偏差。但是，只有一些过滤或压缩的数据被发送到数据存储。
避免数据丢失的方法
还需要提前考虑，如果读数流量因某种原因停止，假设传感器暂时故障或与网关失去连接。
在这里，有两种方法是可能的：
- 使用可靠的可靠算法来疏漏数据。
- 例如，使用冗余传感器，有几个传感器来测量相同的参数。一方面，这增加了可靠性：如果一个传感器发生故障，其他传感器将继续发送读数。另一方面，这种方法需要更复杂的分析，因为传感器可能会生成略有不同的值，而分析算法应该对此进行处理。
物联网大数据分析
物联网大数据需要两种类型的分析：批量和流媒体。批量分析是所有大数据类型固有的，物联网大数据也不例外。它被广泛用于对捕获的数据进行复杂的分析，以确定趋势、相关性、模式和依赖性。批量分析涉及应用于历史数据的复杂算法和统计模型。
流式分析完美地涵盖了物联网大数据的所有细节。它旨在处理在小时间间隔内生成的高速数据流，并提供近乎实时的见解。对于不同的系统，此"实时"参数会有所不同。在某些情况下，它可以用毫秒来测量，而在其他情况下，可以在几分钟内测量。为了尽快获得见解，可以分析捕获的数据在系统的边缘，甚至在数据流处理器中。
总结一下
从本质上讲，物联网大数据是机器生成的、大容量的、流媒体的、位置和时间特定的。大数据咨询实践证明，在设计和开发物联网解决方案之前考虑这些功能是多么重要。我们确信，您不希望在短短几个月内耗尽存储空间，或仅仅因为您的解决方案不支持流式分析，或面临任何其他问题而错过实时见解，而会破坏您的 IoT 解决方案的稳健性。为了避免这种情况，有必要明确确定您的短期和长期业务需求，并从多个选项中仔细选择最佳的大数据架构和技术堆栈。
