IT日志分析

IT日志包含丰富的情报信息，例如故障和故障排除、信息安全、应用程序性能以及IT系统性能的等重要信息。《中华人民共和国网络安全法》第21条明确规定：“采取监测、记录网络运行状态、网络安全事件的技术措施，并按照规定留存相关的网络日志不少于六个月”。

MLP可以近实时处理TB级的IT运营数据，7x24小时连续不间断的工作。 MLP可以从IT系统，如操作系统（Windows，Linux，AIX等）、数据库、应用程序、网络设备、安全设备、中间件、SYSLOG、SNMP、网络数据包镜像、netflow等众多来源收集数据。也可以在操作系统上远程收集，无需运行代理。MLP可以将这些日志整合到一个统一位置，并将细粒度的使用权限附加到每个数据源。这样，只有经过授权的人员才能访问它们。

数据采集与整合

采集数据之后，使用MLP高性能解析器解析日志。解析器的解析环境完全是图形化的，所有的操作都通过拖拽实现。解析过程包括从数据中提取关键字段，并将它们输出到实时数据处理环境以及搜索索引中；日志也可以在没有解析的情况下编入搜索索引。

数据分析与展示

在MLP中，数据建模是通过拖拽式模型开发环境完成的，模型通过该环境处理实时流数据；模型也可以处理静态的历史数据。通过模型生成数据统计并应用机器学习算法，将结果数据插入一个或多个数据库表中用来生成报告。可视化报告、仪表板、告警都是根据这些模型和数据库中的数据生成。

问题排查、故障定位以及根因分析

首先，用户可以主动搜索日志来排查问题；其次，用户可以钻探追踪告警、报告的原始数据，进一步查看详细信息，以便查找产生问题的根源；其三，MLP用户还可借助机器学习算法，获取更加精确的信息来定位问题、发现根源以及分析事件之间的相关性。内嵌成熟机器学习算法，这是MLP的独有优势之一。

总之，MLP提供了完整的日志数据挖掘、分析、搜索、提炼和安全审计等功能。

银行交易

银行交易需要运行在高度安全和受保护的计算机系统上，需要确保7X24小时的高可用性和可靠性。交易中的任何异常、延迟或故障都会直接损害银行客户利益，进而损害银行本身的利益。因此，对每个交易步骤及交易系统性能进行实时监控非常重要；此外，银行和证券公司还希望及时发现异常或非法的交易和金融欺诈等异常活动。

MLP通过多种方式采集数据，进而提取相关信息并重新关联交易步骤。MLP至少可以通过四种方式实现这一目的，第一种方法是从运行交易的服务器中收集日志数据；第二种方式是对运行交易网络的交换机上的IP数据包进行分析，通过对数据包的分析，我们可以解码相关参数，例如延迟时间、账户ID、用户名、汇款金额和余额、交易类型和渠道等；第三种方法是监控保存交易记录的数据库；第四种方法是监视消息队列；而其他交易监控产品通常只依赖其中一个数据输入。MLP能够近实时地将这种多样的数据源整合到单个建模系统中，从而提供非常丰富的综合关联分析结果。

实时收集到有关交易数据后，MLP会解析并提取关键字段，再通过MLP的灵活建模工具，将交易步骤连接在一起以形成完整的分析。最后，MLP进行进一步的机器学习和分析，以发现故障、异常延迟、欺诈和其他异常事件。

MLP可以快速找到失败的步骤位置，并在显示屏上显示分析结果， MLP还可以查明行为异常的用户，预测交易率和潜在的高并发拥塞。

MLP可以解码固定事务拓扑路径和复杂的任意定义的事务拓扑。MLP能够以多种方式展示上述拓扑结构，例如展厅大屏展示或电脑显示器小屏展示。发现异常交易或异常用户会触发告警，告警信息可以通过短信、电子邮件、SYSLOG，SNMP陷阱等发送。

网络流量和NetFlow分析

网络流量数据，提供了大量关于内部网络安全状况、内部应用系统性能、网络故障等方面的信息。针对边界网络，包含大量的广域网性能，安全攻击，以及面向外部的服务性能等方面的信息。

主要有两种方法来监视网络流量，第一种方式是网络数据包可以在交换机的以太网层（第2层）进行镜像，这些数据包需要收集和解码以重建例如TCP、UDP、HTTP、DNS等协议。第二种方式是编程路由器或三层交换机来解码Netflow；Netflow解码发生在通过UDP数据包将流量信息发送到Netflow收集器的路由器中，Netflow是测量IP层网络数据包流量的行业标准。Netflow的主要类型是版本5和版本9。

MLP拥有接收器来处理和解码数据通信包，以重建例如TCP，UDP，DNS，HTTP，FTP等协议的数据流信息。MLP还包括一个Netflow解码器，因此，MLP可以处理这两种数据。MLP还发挥了剔除重复数据包、剔除重复事件数据等关键功能，以及从两个或更多单向事件创建双向事件等功能。 MLP还可以利用数十甚至数百个接收器进行数据包和网络流量处理。MLP可以处理内存中的流信息并从中提取关键特征；并对提取的数据应用规则，以此计算安全性和性能指标；规则是在内存规则引擎中实现。

MLP还可以将基于机器学习的异常监测应用于此数据，以监测网络内外的异常活动和“零日威胁”。基于机器学习的异常监测创建了一个正常活动的模型，并自动监测任何超出正常模式范围的事件和行为。

MLP中的机器学习多维算法，可以监测IT环境中未知的、潜在成本高昂或影响巨大的问题。MLP直接从内存中获取实时流数据，进行建模处理分析，以精确匹配客户的环境，而且无需自定义编写软件代码；因而非编程人员即可完成这些工作。或者，也可以部署MLP标准应用程序来完成此任务；此外，还可以定制个性化方案来适应特定的IT环境。通过MLP的灵活报告系统，还可以将网络流量分析生成可视化报告。

MLP可以在企业规模甚至电信运营商规模上处理大量的网络流量数据；它的灵活性和适用规模是专用网络流量分析产品所无法比拟的。

IT运维

IT系统通常包括网络设备、服务器、应用程序、中间件、存储设备、安全类设备等。IT管理者经常需要全面实时了解他们的IT系统的整体运行状态和情况。由于这些系统、应用程序和网络设备都是彼此依存的，任何地方出错、遇到性能瓶颈、出现安全问题和容量问题等都可能会相互影响。IT系统中的事件和日志可从文件系统、操作系统、网络设备、应用程序和数据库中获取，将这些事件联系起来，就可以获得IT系统的整体运行图。

MLP可通过多种方式收集日志和事件信息，解析提取出关键的参数字段，然后利用多种技术（比如规则引擎，分类算法，异常检测，智能预测，搜索引擎等）来将它们关联，以多维度和多角度展现IT系统的运行状态。

MLP通过机器学习算法，可以主动事前将运维中的变更和异常信息推送给用户，帮助用户预测性主动维护他们的IT系统。这种基于机器学习的主动IT运维模式，通过事前主动干预能够避免一些问题的发生，从而避免和降低这些问题带来的损失；而如果只是给用户提供一个搜索的功能，用户经常就会处于一种被动“救火”的方式——事后才去查找问题的原因，这种被动的反应式运维方式隐藏着很高的人力成本和风险成本。

每一个IT系统都有各自的特点，因此传统的工具很难适应每一个IT系统；而MLP能够通过灵活配置实时数据分析模型和可视化仪表板，以客户个性化定制的方式来适应各种复杂的IT系统，并且整个过程不需要定制开发应用。

工业制造

现代化的工厂配备了各种设备，这些设备源源不断的产生着各种关于工厂运行状况的数据。这些数据可以通过诸如RS232、Modbus等电子接口进行采集或者通过设备的计算机日志来收集；所收集的信息包括压力、温度、位置、振动、部件尺寸、转速、电流和电压等物理状态，或者是机器状态、错误、数据文件、绘图等；这些数据里会有非结构化、半结构化和结构化的数据。有些企业每天会产生数TB的海量数据，有些企业数据较少，每天只有KB级的数据；有些数据价值密度高，而有些则没有什么有价值的信息。

MLP可以收集、解析、处理、存储和实时分析工厂数据。MLP具有故障排除、根因分析的能力，并且还提供解决其他问题的应用程序。通过MLP对生产运营数据进行分析，可以帮助提高产量、减少资源浪费，或提高每小时的单位产量。此外，还可以使用基于MLP的应用来对机器设备进行预测性维护，以避免非计划停机，防止代价高昂的灾难性故障发生、避免损失。例如，借助MLP的分析预测功能，可以及时替换那些即将损坏或故障的机器或部件来防止发生故障。

无论是对于工厂中的手动制造组装线还是高度智能自动化工厂，MLP都特别适合。MLP可以监视机器执行切割、塑形、焊接、连接、涂层、铆接、装配、弯曲、检查、运输、锡焊、铸造等操作。制造过程的知识可以通过MLP中灵活的数据建模环境嵌入到应用程序中；并且定制生产分析解决方案，只需要通过拖拽式编程就可实现，无需写代码。

数据分析结果能够以可视化图表在工厂大屏、管理者、运维人员的显示屏上实时显示，以便向相关人员展示他们需要了解的情况；此外，告警和警告也可以通过自定义配置分别发送给相应的运维人员和管理员。所有这些自定义配置都是通过拖拽的方式实现，无需编码。

能源行业

能源产生、传输和配送系统正在变得更加智能化，相关的运营数据也正在被快速收集，以便优化成本，提高效率。今天，通过处理实时大数据来优化能源运营，存在着前所未有的巨大潜力——实施有效的大数据方案，能够提升效率、节约能耗、降低成本、挽回欺诈造成的巨大损失等等。

例如，智能电表越来越普及，因而根据大量智能电表的数据可以对用户的消费行为和用户人口数据进行分析，同时也可以借助机器学习大数据分析来监测和预防用户窃电等消费欺诈。根据国外数据，能源电网每年都有几十亿美元因欺诈而流失；同时，由于次优的能源分布和低效率的运营造成的损失也是数以亿计，非常巨大。

能源行业目前正处于数字化转型的早期阶段，需要从电网和消费者那里收集数据。智能实时数据分析的落地应用，将为整个电力行业的参与者——发电和配电公司、消费者以及整个电力生态系统提供巨大的价值。

最近，由于风力和太阳能等可再生能源具有受天气状况影响显著等特殊性，电力行业变得更加复杂。除了电力之外，还有其他能源配给系统，特别是供热系统，它们为世界上最寒冷地区的建筑物供暖。其中一种供热系统使用火力发电站对水加热并通过热交换器和热水网络将其供应给消费者。这种供热网也面临和电力网类似的问题，因此需要与电力电网相似的数据分析能力。

MLP能够处理数以百万计的用户电表和电网的数据，以便为电力行业提智慧决策辅助和行动指导。MLP可以帮助节能、降低成本、预测负荷、提供决策支持、定位故障、预测设备故障、实现智能化管理、提高安全性、降低风险、优化供电、减少欺诈、防止损失等。

交通运输和物流

交通运输和物流网络正在配备大量的传感设备，以监测位置、温度、燃料、天气、压力、设备健康、维修状况、库存、包装处理、电池状况等信息。这些传感器可以实时地收集和处理数据，将这些数据与库存、车辆和人员等静态数据相结合，可以得到非常丰富和有益的信息。对物联网数据分析有助于趋近最佳操作、物料管理、通信链路、能源管理、交通规划、乘客和驾驶员信息管理、预防性维护、流程化管理等，也可以帮助应付突发事件，如道路条件、天气、事故、地缘政治问题条件的变化等。

MLP可以收集、处理、存储、分析和响应来自数百万来源的实时数据信息。MLP可根据程序规则自动采取行动；也可以应用机器学习来发现异常，这些异常可能代表某种异常状态、故障、安全问题；MLP也可以用来定位和确定这些问题的原因。MLP的另一个应用是预测性维护，预测性维护可以节省成本，减少事故或延误的风险。MLP还可以向管理人员提供仪表板和可视化操作报告，并显示在运营中心。

MLP凭借对实时海量数据的处理能力和高度灵活的架构，能够提供量身定制的解决方案，以满足独特的交通运输和物流数据分析需求。