ABP 使用ElasticSearch、Kibana、Docker 进行日志收集

小程序：扫一扫查出行
【扫一扫了解最新限行尾号】
复制小程序

后续会根据公司使用的技术，进行技术整理分享，都是干货哦别忘了关注我！！！

最近领导想要我把项目日志进行一个统一收集，因为现在环境有什么报错信息都是看Logs文件夹的日志数据，如果只有一个项目那到无所谓，但是我们现在的服务进行了模块拆分，所以看日志需要一个一个的找不方便，之前我有接触过Seq、ElasticSearch进行日志收集统一查看。

技术点

ElasticSearch

ElasticSearch 是一个非常适合索引日志和分析数据的开源数据库。

Kibana

Kibana 是 ElasticSearch 的开源数据可视化用户界面。将 ElasticSearch 视为数据库，将 Kibana 视为 Web 用户界面，您可以使用它在 ElasticSearch 中构建图形和查询数据。

Serilog

Serilog 是一个用于 ASP.NET Core 的插件，它使日志记录变得容易。Serilog 有多种可用的接收器 - 例如，您可以获得纯文本、SQL 和 ElasticSearch 接收器等等。

为什么用ElasticSearch（当然后面也会介绍Seq）

它是免费和开源

基本功能是免费的，大部分都是免费的。如果您需要 Kibana 中的安全和警报功能，您可以购买 Kibana 的商业 X-pack 订阅，也可以安装一些开源替代品。

RESTful API

查询结果以 JSON 格式返回，这意味着结果易于使用。通过 RESTful API 查询和插入数据意味着可以轻松使用任何编程语言来处理 ElasticSearch。

易于查询

ElasticSearch 有一个基于 Apache Lucene 的内置全文搜索引擎。与其他数据库相比，Lucene 易于查询。即使是非技术人员也可以编写常见查询。

速度很快 - 非常快

查询大型 SQL 数据库可能需要 10 或 20 秒。大型 ElasticSearch 数据库上的类似查询通常会在 10 毫秒内返回结果。

它是可扩展

它很容易扩展。再加上它是开源的，这意味着它在钱包上也很容易。

易于设置

只需启动一个包含 ElasticSearch 和 Kibana 容器的 docker compose 文件，您就可以开始记录和搜索了。

Docker搭建Elasticsearch 和 Kibana环境

这里我们使用了docker-compose所以我们需要安装docker-compose然后创建一个 docker-compose.yml 文件。

mkdir -p home/docker/docker-compose cd home/docker/docker-compose

创建一个名为 docker-compose.yml 的新文件

vi docker-compose.yml

docker-compose.yml文件内容

设置es内存,java程序一般很吃内存,根据服务器配置进行调优- "ES_JAVA_OPTS=-Xms512m -Xmx512m"
kibana汉化(7.0以上版本),根据个人情况决定- output.i18n.locale="zh-CN"

version: '3.1' services: elasticsearch: container_name: elasticsearch hostname: elasticsearch image: docker.elastic.co/elasticsearch/elasticsearch:7.9.2 restart: always ports: - 9200:9200 - 9300:9300 volumes: - elasticsearch-data:/usr/share/elasticsearch/data environment: - xpack.monitoring.enabled=true - xpack.watcher.enabled=false - "ES_JAVA_OPTS=-Xms512m -Xmx512m" - discovery.type=single-node kibana: container_name: kibana hostname: kibana image: docker.elastic.co/kibana/kibana:7.9.2 restart: always ports: - 5601:5601 depends_on: - elasticsearch environment: - ELASTICSEARCH_URL=http://localhost:9200 volumes: elasticsearch-data:

运行 docker-compose.yml 文件

容器启动之后需要等待一会，因为初始化需要一段时间

# 构建启动容器 -d 后台运行 docker-compose up -d# 停止up 命令所启动的容器，并移除网络 docker-compose down

验证环境

验证 Elasticsearch 是否已启动并正在运行,我们可以访问http://localhost:9200(就是我们刚才开放Elasticsearch的9200端口)

验证 Kibana 是否已启动并正在运行,我们可以访问http://localhost:5601(就是我们刚才开放Kibana的5601端口)

使用Abp配合Serilog 记录日志到 Elasticsearch

Serilog 包添加到项目中
- Serilog.AspNetCore
- Serilog.Enrichers.Environment
- Serilog.Sinks.Debug
- Serilog.Sinks.ElasticSearch
- Serilog.Exceptions
appsettings.json 中添加 Serilog 日志和Elasticsearch地址

{ // Serilog 日志配置 "Serilog": { "MinimumLevel": { "Default": "Information", "Override": { "Microsoft": "Information", "System": "Warning" } } }, // Elasticsearch地址 "ElasticConfiguration": { "Uri": "http://localhost:9200" }, "AllowedHosts": "*" }

在 Program.cs 中配置日志记录

接下来，通过添加以下 using 语句在 Program.cs 中配置日志记录：

using Microsoft.AspNetCore.Hosting; using Microsoft.Extensions.Configuration; using Microsoft.Extensions.Hosting; using Serilog; using Serilog.Sinks.Elasticsearch; using System; using System.Reflection; using Serilog.Exceptions;

接下来，设置 main 方法。我们要做的是在创建主机之前设置日志记录。这样，如果主机无法启动，我们可以记录任何错误。

public static void Main(string[] args) { // 配置日志信息 ConfigureLogging();// 然后创建主机，这样如果主机出现故障，我们就可以记录错误 CreateHost(args); }

然后，在 program.cs 中添加 ConfigureLogging 和 ElasticsearchSinkOptions 方法

private static void ConfigureLogging() { var environment = Environment.GetEnvironmentVariable("ASPNETCORE_ENVIRONMENT"); var configuration = new ConfigurationBuilder() .AddJsonFile("appsettings.json", optional: false, reloadOnChange: true) .AddJsonFile( $"appsettings.{Environment.GetEnvironmentVariable("ASPNETCORE_ENVIRONMENT")}.json", optional: true) .Build();Log.Logger = new LoggerConfiguration() .Enrich.FromLogContext() .Enrich.WithExceptionDetails() .Enrich.WithMachineName() .WriteTo.Debug() .WriteTo.Console() .WriteTo.Elasticsearch(ConfigureElasticSink(configuration, environment)) .Enrich.WithProperty("Environment", environment) .ReadFrom.Configuration(configuration) .CreateLogger(); }private static ElasticsearchSinkOptions ConfigureElasticSink(IConfigurationRoot configuration, string environment) { return new ElasticsearchSinkOptions(new Uri(configuration["ElasticConfiguration:Uri"])) { // 自动创建模块 AutoRegisterTemplate = true, // 创建索引（如果不设置默认就是logstash-2022.03.06这种时间格式的） IndexFormat = $"{Assembly.GetExecutingAssembly().GetName().Name.ToLower().Replace(".", "-")}-{environment?.ToLower().Replace(".", "-")}" }; }

最后，添加 CreateHost 和 CreateHostBuilder 方法。请注意 CreateHostBuilder 周围的 try/catch 块。

private static void CreateHost(string[] args) { try { CreateHostBuilder(args).Build().Run(); } catch (System.Exception ex) { Log.Fatal($"Failed to start {Assembly.GetExecutingAssembly().GetName().Name}", ex); throw; } }public static IHostBuilder CreateHostBuilder(string[] args) => Host.CreateDefaultBuilder(args) .ConfigureWebHostDefaults(webBuilder => { webBuilder.UseStartup<Startup>(); }) .ConfigureAppConfiguration(configuration => { configuration.AddJsonFile("appsettings.json", optional: false, reloadOnChange: true); configuration.AddJsonFile( $"appsettings.{Environment.GetEnvironmentVariable("ASPNETCORE_ENVIRONMENT")}.json", optional: true); }) .UseSerilog();