摘要：日志数据采集与分析对接课程描述通过日志服务采集用户、数据库、业务等访问数据。演示对于业务日志分析与处理，程序日志查询与监控，打通日志与数据仓库对接案例。日志种类网站访问日志准备步骤 & 依赖 ECS虚拟机（测试账号默认包含，并且访问日志产生） OSSBucket 用做数据仓库，存储日志服.

日志数据采集与分析对接

课程描述

通过日志服务采集用户、数据库、业务等访问数据。演示对于业务日志分析与处理，程序日志查询与监控，打通日志与数据仓库对接案例。

日志种类

网站访问日志

准备步骤 & 依赖

ECS虚拟机（测试账号已默认创建虚拟机-ECS控制台）

OSSBucket

用做数据仓库，存储日志服务同步的各类数据

RAM服务

生成RAM角色用于同步日志数据至OSSBucket

操作步骤

日志采集配置

登陆日志服务控制台，选择华东1创建日志服务project，其中Project名称全局唯一，建议名称加上登陆账号前缀进行区别
创建logstore存储访问日志
向导创建NGINX日志采集

配置文件路径（/var/log）和文件名称（access_log），其中NGINX日志配置为：

log_format web_site_com '"$remote_addr" "$remote_user" "[$time_local]" "$request" ' 
    '"$status" "$body_bytes_sent" "$http_referer" "$http_user_agent" "$host" '
    '"$http_x_forwarded_for" "$request_time" "$request_length" "$remote_port" ' 
    '"$upstream_response_time"';

创建机器组（打开ECS控制台获取机器IP地址）
开启日志分析

开启数仓同步

打开OSS控制台，可以看到一个以workshop名称开头的bucket，复制名称至“OSS Bucket”输入框
授权日志服务同步数据至OSS（点击授权链接）
获取RAM角色名称（点击链接）
指定OSSBucket同步指定日志数据（其中可填入字段名称包括：request_method，request_time，remote_addr，request_length，http_user_agent等在查询页面看到的所有字段）

日志查询分析

根据关键词查询访问日志
分析统计NGINX访问日志（预置仪表盘使用：包含地图/各类基本图形等）

数仓同步

等待1-2min后，可以在OSS中看到生成的数据目录

实验耗费

ECS虚拟机日志服务 OSS存储

原文链接

本文为云栖社区原创内容，未经允许不得转载。

数据仓库日志分析数据库数据采集 code 仪表盘关键词原创内容 web store 分析统计 url

2018上海云栖大会workshop-日志数据采集与分析对接