浪潮打卡了解Venus详解这款OpenStack日志管理项目
（环球TMT2021年5月24日讯）Venus是什么。初见还要追溯到客岁11月召开的海潮云海立异论坛2020。会上不仅分享了海潮云海对付前沿科技的立异洞见以及踏实靠得住的落地实践，更紧张的是TA，一个开源并进献社区的OpenStack日记治理项目，被称为Venus。
随同OpenStack技术成长愈发成熟，环球75个公有云、数以千计的私有云都在使用，累计部署了跨越1000万个计算焦点，确然成为行业年夜中型私有云建设的首选。
为应对行业中年夜型云建设的刚需，主要表示为节点范围部署情况逐渐走向年夜范围，涉及到的功效模块层出不穷，尤其是各类日记类型更是纷纷繁杂。“海量、繁多、疏散……无论是格局照样地位都让运维职员在服务器上很难经由过程日记排查发现问题。”海潮云海研发团队表现。
更紧张的一点，当体系产生故障或者呈现机能瓶颈时，常常必要各类类型日记经由过程串联能力定位故障缘故原由或者找出导致体系机能瓶颈的线索才行，但OpenStack平台的挪用多为散布式挪用，日记的串联简直难出天涯。综合考量，海潮云海实力推出同一日记治理项目Venus，主要照样取决于年夜范围部署前提下，针对OpenStack平台在日记存储、检索、阐发等方面的焦点需求。
进献社区的Venus详细能做啥。
总体来说，Venus可以做到一站式满意日记的采集、洗濯、索引、阐发、告警、可视化、天生申报等需求，赞助运维职员快速检索问题，掌握平台的运行康健度，并在将来方案引用机械进修算法，快速定位IT故障及根因，进步运维效力以及平台治理的程度。 简单来说在检索事情上，主要提供了简单易用的检索方式，可以做到检索统统日记数据，定位日记上下文；阐发上主要实现日记联系关系、字段数值统计，提供多场景、多维度的可视化阐发报表；告警层面则将搜刮转化为自动告警，实现海量日记中差错的“年夜海捞针”；定位主要是经由过程树立常识图谱和挪用的链式关系，联合算法实现故障的快速定位。
以日记预处置为例。对付日记数据，OpenStack社区从开端开发就订定了严厉的日记规范，年夜部门模块都遵照此规范，即社区划定的日记格局为<光阴戳><日记品级><代码模块><日记内容><源代码地位> 。对付此种日记很容易进行预处置，拆分成多种维度进行索引，如下图所示。
通常OpenStack日记索引的维度主要包含光阴维度、主机维度、用户维度（用户id）、租户维度（租户id）、级别维度（info、warning、error等）、组件维度(nova_api、nova_compute等)、python_module（neutron.wsgi、nova.osapi_comput.wsgi.server等）、日记文件名（nova、neutron等）、API status（200、404等）、API type（GET、POST等）、API time等，但也有部门原生模块的日记记载并不规范，海潮的OpenStack对其全体进行了规范化处置。
如斯看来开源到OpenStack社区的Venus项目现已具备根本的日记阐发处置功效，总结一下，主要功效为：
全文/多维度检索：针对全文或已索引维度进行症结词检索（可隐约匹配）多维度统计/展现: 对已索引的一个或多个维度的日记条数进行统计并展现典型差错阐发: 集成典型的差错阐发，例如mariadb衔接差错等差错日记告警：当周期内差错日记条数跨越阈值，进行告警并关照挪用链阐发：对体系中的挪用，依据global_requestid进行流程阐发API执行状况/耗时：对记载API挪用状况的模块，可以统计API执行的状况和光阴耗费
从实践层面看，海潮云海每年都邑对自研OpenStack产物进行动期1个月到2个月的年夜范围测试，这是一个测试、调优、测试环节赓续轮回的进程，而支持这个进程快速完成的除了监控体系，还有日益成熟的日记体系，以2020年1000节点年夜范围测试为例：
测试进程中，报错LOG可视化快速展示，从而相识各组件的报错信息，详细如下：
测试进程中呈现过RABBITMQ挂失落的环境，可经由过程RABBITMQ的衔接差错告警，可以做进一步的数据阐发，详情如下：
表示出挑的Venus，整体的技术架构又若何。
海潮云海技术研发团队称，日记治理模块Venus以efk为根基，总体架构如图：
采集端：开发了基于fluentd的采集义务，针对OpenStack、操作体系、平台服务等日记开发了读取、过滤、格局化、发送等插件，而且用户可以按需设置装备摆设日记存储：采集并格局化后日记索引至elasticsearch集群中，ES提供副本机制，纵然在某些服务器宕机后仍能正常事情，进步数据可用性Ivenus_api：api、restapi服务，提供更简练、周全认证的接口。将上层挪用转化为底层Elasticsearch的查询，并对查询的多维度索引数据进行简单处置，同时将成果返回Ivenus_manager：内部准时义务模块，开发了可设置装备摆设的准时义务，主要包含：
差错阐发义务：各模块差错、mariadb衔接差错、rabbitmq衔接差错等裂缝义务关照告警义务：针对分歧光阴、分歧模块的差错日记条数设置阈值并提供告警服务和关照服务挪用链义务：依据global_requestid串联开发操作的挪用链阐发功效，可以展现挪用的执行次序、光阴、差错信息等并提供导出操作设置装备摆设治理义务：依据告警阈值设置、准时义务治理、日记保留光阴设置等设置装备摆设治理义务
将来的Venus期望是如许的
Venus项目旨在打造一个开放的OpenStack日记治理平台，聚拢宽大用户在日记范畴的需乞降实践，提供各场景日记阐发并集成算法和常识图谱实现故障的快速定位，构建完整的日记运维场景，将来Venus方案如下：
采集：除了fluentd，集成其他采集插件，例如logstash、flume平分析：摸索更多运维场景，对各场景症结数据进行统计阐发和告警展示:将venus的设置装备摆设功效、阐发功效、告警功效以插件情势集成到horizon定位：聚类日记、构建常识图谱；集成算法类库，对故障进行根因定位