MLP边缘计算

为什么需要边缘计算?

物联网边缘设备、传感器正在持续不断的生成和采集到海量的数据,如果不做任何处理,直接将这些数据流传送到云端或本地服务器集群中,这将给传输带宽和计算资源带来很大的压力,并且存在数据延时的问题。因此,在边缘设备中通过重采样、信号处理、聚合、机器学习等形式对数据进行处理计算,然后只将重要信息传送到云端或本地服务集群中进行下一步的分析处理。这样就可以在不损失任何重要信息的前提下,大幅降低对传输宽带和计算资源的消耗,同时有效提高数据传输速度,避免数据延迟。

有些物联网场景中需要在边缘设备端实时做出决策,例如:闭合环路控制系统需要通过边缘计算做决策,如果将数据传送到云端计算再返回到边缘端,这存在很大的延时,也就无法形成有效的反馈控制环路。比如,高速行驶中的无人驾驶汽车,数秒钟的延时,甚至毫秒的延时都可能带来严重的安全隐患。

使用边缘计算可以实现基于边缘的协同工作,例如,一群无人机如何在一个偏远的地方协同工作。

通过边缘计算不仅可以大幅降低连接成本、节约计算资源、减少数据延时、辅助协同工作,同时通过边缘计算还可以提高数据安全性,降低隐私数据和机密信息泄露的风险。

MLP与边缘计算

MLP是由15+个微服务组成,具有典型的微服务架构优势。MLP的核心微服务不依赖于spark、Hadoop、Kafka等开源数据处理产品,但MLP可以与这些开源产品无缝对接。MLP流处理引擎是优圣美使用C++自主研发的,可以任意集成开源工具。

MLP核心微服务都是轻量级的,因为它们是用C++编写和优化的。MLP具有集群管理、容错、算法、数据流执行、DC2(新数据采集系统)管理、隧道直接数据输入(Direct Tunnel )、数据集成、用于数据流GUI的HTTP API和自监控等功能。这些核心服务的算法和数据分析能力,均是由轻量级的插件库提供。

物联网边缘设备只需要MLP的核心服务,其他处理可通过MLP的轻量插件(用C++编写、低资源需求)实现;例如,通过轻量级插件实现运行算法以及数据流引擎。

MLP核心服务具有只占用极少的资源(几MB)、小内存要求、高速的流处理特点。高速低延迟具体表现在,处理和传输的总延迟时间在1毫秒到几毫秒之间(根据网络和其他因素)。 这使得MLP非常适合边缘计算,特别是那些对延时容忍度极低的场景中,例如通过MLP可以处理实时反馈控制等需要本地决策的场景。

基于C ++的核心服务的另一个优点是,在边缘计算设备上不需要Java虚拟机(JVM);JVM不仅需要大量资源,而且在Java垃圾收集器(GC)采取行动时偶尔会冻结实时流处理;而MLP可以在不中断的情况下实时处理数据流。

MLP可扩展的微服务还允许与基于Java的程序和Spark数据流、Kafka、Hadoop等大数据工具的无缝对接集成。这种集成通常是无代码的,只需在MLP中进行拖拽相应的可视化组件。

这种架构使得MLP可以在边缘、本地以及云上部署,并且可以无缝衔接,协同工作。

Copyright © 2018 苏州优圣美智能系统有限公司