取消
显示结果 
搜索替代 
您的意思是: 
cancel
1788
查看次数
10
有帮助
1
评论
julianchen
Spotlight
Spotlight
中期阶段:评估当前和未来状态下的数据模型
数据模型评估是一个关键方面,但很少有人真正理解或愿意这么做。本质上说,您必须为即将上马的AIOps方案厘清各个数据源的数据模型,以保证这些模型能够被AIOps的用例所识别,进而评估出不同模型间的直接交互和预期结果。
我们之所以说它具有一定的挑战性,是因为大多数IT工具的数据模型对于用户都是不可见的。很少有组织、甚至包括一些数据分析人员或专家,能真正知道大数据平台(使用的是NoSQL)与传统数据库(使用的是SQL)的不同之处。
AIOps实际上是在一个大数据存储库中关联了来自不同IT(和非IT)源的数据,使得它们能够互联互通,从而实现分析和趋势判断
AIOps系统可以处理许多种共享的数据结构(如下所示),而不需要额外地进行二次开发或改进:
· 时间戳 各种事件、日志和度量中带有时间点特征的数据,可以被聚集在一起用于关联事件,并按照时序进行因果分析。
· 属性 某个事件、日志或度量所关联的信息键值对(key:value, 如“状态、“源”、“提交者,可用于在不同数据集之间创建关系模型。
· 历史性 - 时间序列或事件活动的过往数据,可用来预测将来的表现或门限值,如饱和度(saturation)和退化度(degradation)。
· 效应 - 一天、一周、一个月等时序数据所呈现的趋势或规律性,可用于关联多个数据集、或预测可伸缩性的资源需求。
· 应用程序、服务和业务模型 - 如果您能够定期进行发现与配置管理上的实践,就可以用它们来通知AIOps平台各种资产的分组、关联、依存关系、以及做到数据的去重。
总之,通过构建良好的时序数据,AIOps能够运用各种运营监控与管理工具来关联、分析和预测各种时序数据,进而实现:
· IT和非IT类数据相集合 - 例如:用户数量+性能表现、延迟时间+转换率;
· 并能增加数据的“粒度” - 例如:从5分钟的频率上到1分钟;
· 对数据流进行应用级的分析 - 例如:做到“实时”或对特定历史时间段的查询。
人工捕获的事件往往是非结构化的;而大多数设备获取的IT事件blob(译者注:binary large object,二进制大对象)也只能达到半结构化。它们都存在着:格式不一致、不够完整、大量重复等特点。因此,AIOps应当对这些IT事件属性提供范式转换,为进一步分析做好准备。
如今,许多AIOps都能聚焦事件的管理、分析和关联。一旦数据流入AIOps平台,我们就必须考虑其数据结构和完整性是否支持机器分析。常用的一种方法是:对传入的数据执行“ETL”Extract提取、Transform转换、Load加载),也就是在数据流中进行规范化和集中式转换,以便实现对数据的关联和分析。
当然,在采用AIOps方案之前,企业可能会面临两方面的压力:
· 大量有待转换、处理和分析的数据可能会使得当前的系统无法实现实时性、或升级成本高昂。
· 需要人工去管理和维护各种数据的结构与标准,否则系统只能对已知模型进行处理,而无法适用于新的数据类型。
另外,大多数云服务系统也会使用“标签”策略作为最佳实践。它们通过对不同类型对象的属性变量进行哈希,然后独立于对象本身,仅使用标签来进行引用、排序、关联和分析。不同于那些带有固定公共值的预定义映射关系,标签是能够跟随数据一同变化的。NoSQL数据库和诸如Elasticsearch之类的大规模分析工具,能够通过标签来处理各种属性关系。此外,系统还能在数据流入时就实时地打上标签,以避免任何具有未知特性的“盲数据”产生。
可见,企业需要通过具有ETL或标签能力的AIOps大数据平台,来实现对数据模型的实时评估与管控。
中期阶段:分析现有工作流
至此,我想您对AIOps方案的分析已经准备就绪了。此处的分析并非来自于IT工具,而是您定期或不定期进行的,旨在改进流程、降低成本和提高性能的离线式手动分析。您可以通过手动分析AIOps方案,以不断迭代的方式解决自动化过程中出现的问题,进而减少花费在分析上的手动工作量,并提高分析的频率和范围。
可见,AIOps的目的就是:减少您在手动上花费的时间和精力,通过提高速度与频率,以实现对数据集的自动化实时分析。
中期阶段:开始实施自动化
诚然,每个人都知道自动化的价值,但是不同团队对此有着不同的理解。随着DevOps所带来的持续集成与交付(CI/CD),IT运营的自动化道路也发生了相应的影响。
· IT运营(IT Ops):着眼于自动化任务和协调各项步骤。其中包括:实现服务台的工作自动化、自动给服务器打补丁、通过监控工具来自动修正系统错误。难点在于横跨各种工具间的步骤配合与相互联动。
· DevOps:着眼于自动化自己的开发任务和业务流程,以消除瀑布式开发所带来的分段式审查过程、隔离式测试、行为合规、以及运营与上线联动等、所造成的瓶颈与滞后。
可见,DevOps的应用团队旨在通过开创新的服务(如云端应用),加快集成与交付的速度与频率。
IT运营团队,则需要“自动化所有”,他们需要协调的不只是CI/CD,而是整个“链条”。如果他们不知道服务何时从测试转移到了生产环境,不知道谁手中的源代码会对产生环境造成何种影响,不知道如何识别与度量业务开发人员积压的工作,那么就无法真正有效地去管理好自己的自动化环境。
因此,IT运营需要跟上DevOps团队的速度和敏捷性,综合运用工具来发现信息、共享信息,并通过与DevOps的沟通来“刷出自己的存在感”。
评论
one-time
Level 13
Level 13
感谢楼主分享,在此把此篇相关链接贴出来,方便大家阅读
【原创翻译】敢问路在何方?路在脚下--AIOps路线图(1)
入门指南

使用上面的搜索栏输入关键字、短语或问题,搜索问题的答案。

我们希望您在这里的旅程尽可能顺利,因此这里有一些链接可以帮助您快速熟悉思科社区:









快捷链接