一、原理

原理很简单，首先程序端使用log4j，然后配上redis的appender，将日志暂存到redis，然后logstash从redis中拉取数据，再存储到elasticsearche，最后用kibana展示。大致流程图如下：

二、搭建

这里的搭建是为了演示采集方案，未考虑HA、安全等。

2.1 搭建elasticsearch

1、访问官方网站下载程序包，https://www.elastic.co/cn/downloads/elasticsearch

2、新建一个用户es（elasticsearch要求不能用root用户）

3、编辑/etc/security/limits.conf文件

es hard nofile 65536
es soft nofile 65536

目的是防止启动报错

max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]

4、编辑/etc/sysctl.conf

vm.max_map_count=655360

然后执行

sysctl -p

目的是防止启动报错

max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

5、编辑配置文件elasticsearch.yml,主要修改如下属性

#指定es运行绑定ip
network.host=192.168.1.2
#指定es集群名称
cluster.name=myes

6、执行如下命令启动

./elasticsearch -d

7、访问http://192.168.1.2:9200，查看是否启动成功

2.2 搭建kibana

1、访问官方网站下载程序包，https://www.elastic.co/cn/downloads/kibana

2、修改配置文件kibana.yml ，主要修改如下字段

#kibana运行的ip
server.host=192.168.1.2
#es的地址
elasticsearch.url="http://192.168.1.2:9200"

3、然后启动kibana

./kibana &

4、访问http://192.168.1.2:5601查看是否启动成功

2.3 搭建logstash

1、访问官方网站下载程序包，https://www.elastic.co/cn/downloads/logstash

2、新建一个文件，名称为log.conf，内容如下

input{
        redis{
                host=>'192.168.1.97'
                port=>'6379'
                key=>"filmapi"
                data_type=>"list"
                type=>'redis-input'
        }
}

output{
        elasticsearch{
                hosts=>'192.168.1.2:9200'
                protocol=>"http"
                index=>"filmapi"
        }
}

3、启动logstash

./logstash -f ../config/log.conf

2.4 程序集成log4j

1、添加依赖

		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter</artifactId>
			<exclusions>
				<exclusion>
					<groupId>org.springframework.boot</groupId>
					<artifactId>spring-boot-starter-logging</artifactId>
				</exclusion>
			</exclusions>
		</dependency>
		<dependency>
			<groupId>com.ryantenney.log4j</groupId>
			<artifactId>redis-appender</artifactId>
			<version>1.0.1</version>
		</dependency>
		<dependency>
			<groupId>net.logstash.log4j</groupId>
			<artifactId>jsonevent-layout</artifactId>
			<version>1.0</version>
		</dependency>
		<dependency>
			<groupId>org.slf4j</groupId>
			<artifactId>slf4j-log4j12</artifactId>
		</dependency>

2、修改配置文件

### set log levels ###
log4j.rootLogger = info,console,redis
#********************************************
#控制台的配置 
log4j.appender.console=org.apache.log4j.ConsoleAppender  
log4j.appender.console.Target=System.out  
log4j.appender.console.layout=org.apache.log4j.PatternLayout  
log4j.appender.console.layout.ConversionPattern=%d{yyyy-MM-dd-HH-mm} [%t] [%c] [%p] - %m%n
#********************************************
#redis的配置
log4j.appender.redis=com.ryantenney.log4j.RedisAppender
log4j.appender.redis.layout=net.logstash.log4j.JSONEventLayout
log4j.appender.redis.host=192.168.1.3
log4j.appender.redis.port=6379
#log4j.appender.redis.password=password
log4j.appender.redis.key=filmapi
log4j.appender.redis.period=500
log4j.appender.redis.batchSize=100
log4j.appender.redis.purgeOnFailure=true
log4j.appender.redis.alwaysBatch=true
log4j.appender.redis.daemonThread=true

3、启动程序

三、效果

1、redis中的数据效果

2、kibana中的数据效果

有兴趣的大佬大神可以关注下小弟的微信公共号，一起学习交流，扫描以下二维码关注即可。

一个简单的日志采集方案