蓝鲸平台在腾讯内部业务场景的探索
其实刚刚展示的这套日志架构，源自腾讯IEG蓝鲸日志平台的数据流示意图。
蓝鲸平台在早期就将日志的各类应用场景作为整个自动化运营中的关键环节，并规划建造出了一套适合中大型企业使用的日志平台。直至目前，蓝鲸日志平台已经历经上百次的迭代，在腾讯内部积累了大量的实践经验，支持了上千项业务的日志需求，总结出了不少技术优化举措，在此结合这个话题进行分享总结。
关键技术优化举措&经验
采集端统一Agent，用Agent装采集插件的方式来实现日志采集，便于安装管理。 对于难以运行Agent的设备，可以采取用一些节点主动调用接口获取syslog的方式，集中存储再用Agent采集。 Transfer预处理和Kafka高吞吐衔接，加强数据管道性能。 统一存储端管理，支持第三方ES接入，通过索引集的设计拓展后续的日志应用场景。 分析类的计算任务会借助已有的成熟的数据平台，而并非在自己内部进行。 数据可视化重点关注指标和维度的体系建设，而并非界面的优化（grafana可以解决绝大部分可视化需求）。 各服务节点均可云原生集群化部署。实践效果
通过Agent，支持各类日志的采集。
统一服务端后，使用索引集进行跨节点的日志检索。
配合grafana分析日志清洗后的指标数据（以Nginx访问日志为例）。
了解更多内容，欢迎关注公众号嘉为蓝鲸。