当前位置:AIGC资讯 > 数据采集 > 正文

一个简单的日志采集方案

一、原理

原理很简单,首先程序端使用log4j,然后配上redis的appender,将日志暂存到redis,然后logstash从redis中拉取数据,再存储到elasticsearche,最后用kibana展示。大致流程图如下:

二、搭建

这里的搭建是为了演示采集方案,未考虑HA、安全等。

2.1 搭建elasticsearch

    1、访问官方网站下载程序包,https://www.elastic.co/cn/downloads/elasticsearch

    2、新建一个用户es(elasticsearch要求不能用root用户)

    3、编辑/etc/security/limits.conf文件

es hard nofile 65536
es soft nofile 65536

    目的是防止启动报错

max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]

    4、编辑/etc/sysctl.conf

vm.max_map_count=655360

    然后执行

sysctl -p

    目的是防止启动报错

max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

    5、编辑配置文件elasticsearch.yml,主要修改如下属性

#指定es运行绑定ip
network.host=192.168.1.2
#指定es集群名称
cluster.name=myes

    6、执行如下命令启动

./elasticsearch -d

    7、访问http://192.168.1.2:9200,查看是否启动成功

2.2 搭建kibana

    1、访问官方网站下载程序包,https://www.elastic.co/cn/downloads/kibana

    2、修改配置文件kibana.yml ,主要修改如下字段

#kibana运行的ip
server.host=192.168.1.2
#es的地址
elasticsearch.url="http://192.168.1.2:9200"

    3、然后启动kibana

./kibana &

    4、访问http://192.168.1.2:5601查看是否启动成功

2.3 搭建logstash

    1、访问官方网站下载程序包,https://www.elastic.co/cn/downloads/logstash

    2、新建一个文件,名称为log.conf,内容如下

input{
        redis{
                host=>'192.168.1.97'
                port=>'6379'
                key=>"filmapi"
                data_type=>"list"
                type=>'redis-input'
        }
}

output{
        elasticsearch{
                hosts=>'192.168.1.2:9200'
                protocol=>"http"
                index=>"filmapi"
        }
}

    3、启动logstash

./logstash -f ../config/log.conf 

2.4 程序集成log4j

    1、添加依赖

		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter</artifactId>
			<exclusions>
				<exclusion>
					<groupId>org.springframework.boot</groupId>
					<artifactId>spring-boot-starter-logging</artifactId>
				</exclusion>
			</exclusions>
		</dependency>
		<dependency>
			<groupId>com.ryantenney.log4j</groupId>
			<artifactId>redis-appender</artifactId>
			<version>1.0.1</version>
		</dependency>
		<dependency>
			<groupId>net.logstash.log4j</groupId>
			<artifactId>jsonevent-layout</artifactId>
			<version>1.0</version>
		</dependency>
		<dependency>
			<groupId>org.slf4j</groupId>
			<artifactId>slf4j-log4j12</artifactId>
		</dependency>

    2、修改配置文件

### set log levels ###
log4j.rootLogger = info,console,redis
#********************************************
#控制台的配置 
log4j.appender.console=org.apache.log4j.ConsoleAppender  
log4j.appender.console.Target=System.out  
log4j.appender.console.layout=org.apache.log4j.PatternLayout  
log4j.appender.console.layout.ConversionPattern=%d{yyyy-MM-dd-HH-mm} [%t] [%c] [%p] - %m%n
#********************************************
#redis的配置
log4j.appender.redis=com.ryantenney.log4j.RedisAppender
log4j.appender.redis.layout=net.logstash.log4j.JSONEventLayout
log4j.appender.redis.host=192.168.1.3
log4j.appender.redis.port=6379
#log4j.appender.redis.password=password
log4j.appender.redis.key=filmapi
log4j.appender.redis.period=500
log4j.appender.redis.batchSize=100
log4j.appender.redis.purgeOnFailure=true
log4j.appender.redis.alwaysBatch=true
log4j.appender.redis.daemonThread=true

    3、启动程序

三、效果

    1、redis中的数据效果

    2、kibana中的数据效果

有兴趣的大佬大神可以关注下小弟的微信公共号,一起学习交流,扫描以下二维码关注即可。

更新时间 2023-11-08