从架构角度来看 Java 分布式日志如何收集(Sleuth/Zipkin)

在实际工作中会发现身边的同事或者一些公司,搭建和构建日志系统的时候走了很多的弯路,有用 Logback 的有用 Log4j 的,有自定义 Aappender 改变日志格式的,有异步推送到日志系统的,有用 ELK 的,有用国内开源 Cat 的。开源的 Cloud 框架有用 Sleuth 的,有用 Zipkin 的,而也有直接用 OpenTracking 的。可能五花八门什么样的都有,作者通过这篇文章,来看一下我们生产环境的日志是如何收集的。

通过此篇 Chat 我们可以了解到如下内容:

  1. OpenTracing 是什么?
  2. Spring Cloud Sleuth 我们如何使用?
  3. Zipkin 扮演什么角色?
  4. Spring Logging 为我们做了哪些工作?
  5. ELK 应该怎么样来收集我们的日志?
  6. 如何利用 Sentry 独立收集异常和警告日志?
  7. 一个日志系统的正确架构思想是什么?
  8. 我们的生产 Framework-Logging 做了哪些工作?

我们这篇 Chat 的中心是谈谈怎么从全局来看这件事,把实战经验给大家分享一下。由于篇幅有限可能不能谈里面的实现原理,主要是实际操作,完成整体认识。

实录内容提要:

  1. 目前微服务盛行,这个业务可能夸多个系统,怎样设计日志系统,在出现问题时怎样,才能快速定位不同系统间的请求是同一笔请求,例如系统间日志能否有一个统一的 ID?
  2. OpenTracing 与 Zipkin 如何做选择?
  3. Server ZipkinUI 和 Jaeger 如何做选择?
  4. Sleuth 依赖 Filter 并配置一定的 Percentage 这样性能会成线性下降,你如何看这样的问题?在生产环境下查问题的时候才打开吗?
  5. JMS 日志跟踪是如何实现的?
  6. DBtracing 如何实现的?
  7. 有没有代码地址可以参考?
  8. 集成的时候坑有哪些?
  9. 日志系统架构的本质是什么?
  10. 日志级别该如何划分?
  11. 架构师最重要的素质是什么?
  12. 阿里有对 Java 日志部分做约束吗?

阅读全文: http://gitbook.cn/gitchat/activity/5aeb13c1bba5bc30cda8303f

您还可以下载 CSDN 旗下精品原创内容社区 GitChat App ,阅读更多 GitChat 专享技术内容哦。

FtooAtPSkEJwnW-9xkCLqSTRpBKX

  • 0
    点赞
  • 1
    评论
  • 0
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

<p> <span style="font-size:16px;">概要介绍</span><span style="font-size:16px;">:</span><span></span> </p> <p> <span style="font-size:16px;">本门课程属于“</span><span style="font-size:16px;"><strong>Java</strong></span><span style="font-size:16px;"><strong>分布式中间件大汇聚实战</strong>”系列课程,主要介绍了企业级项目中真实的应用场景的实现及主流的</span><span style="font-size:16px;">Java</span><span style="font-size:16px;">核心技术栈</span><span style="font-size:16px;">Redis</span><span style="font-size:16px;">、</span><span style="font-size:16px;">RabbitMQ</span><span style="font-size:16px;">、</span><span style="font-size:16px;">Spring AOP</span><span style="font-size:16px;">、</span><span style="font-size:16px;">Redisson</span><span style="font-size:16px;">、</span><span style="font-size:16px;">ZooKeeper…</span><span style="font-size:16px;">的实战等等。除此之外,还介绍了如何基于</span><span style="font-size:16px;">Redis</span><span style="font-size:16px;">设计并实战一款点赞系统点赞、取消点赞、排行榜、用户中心、文章点赞用户列表</span><span style="font-size:16px;">…</span><span style="font-size:16px;">可以说技术干货甚多,不仅可以巩固企业级应用系统的开发实战能力,相信在面试、跳槽涨薪方面也能带来相应的帮助!</span><span></span> </p> <p> <span style="font-size:16px;">课程内容</span><span style="font-size:16px;">:</span> </p> <p> <span></span> </p> <p> <span style="font-size:16px;">传说中的金三银四、面试跳槽涨薪季已经来临,</span><span style="font-size:16px;">Debug</span><span style="font-size:16px;">特地为大家准备了一系列跟面试、跳槽、巩固核心技术栈相关的课程,本门课程属于第一季,其中的内容包括企业级项目中真实的应用场景实战、面试相关的技术点分享、主流的</span><span style="font-size:16px;">Java</span><span style="font-size:16px;">技术栈</span><span style="font-size:16px;">Undertow</span><span style="font-size:16px;">、</span><span style="font-size:16px;">Redis</span><span style="font-size:16px;">、</span><span style="font-size:16px;">RabbitMQ</span><span style="font-size:16px;">、</span><span style="font-size:16px;">Spring AOP</span><span style="font-size:16px;">、</span><span style="font-size:16px;">Redisson</span><span style="font-size:16px;">、</span><span style="font-size:16px;">ZooKeeper…</span><span style="font-size:16px;">实战等等。</span><span></span> </p> <p> <span style="font-size:16px;">除此之外,我们还基于</span><span style="font-size:16px;">Redis</span><span style="font-size:16px;">设计并实战了一款点赞系统,可以说技术干货甚多。在课程的最后,</span><span style="font-size:16px;">Debug</span><span style="font-size:16px;">给大家整理了一份最新的面向</span><span style="font-size:16px;">BAT</span><span style="font-size:16px;">大厂招聘 </span><span style="font-size:16px;">~ 2020</span><span style="font-size:16px;">年程序猿最新的</span><span style="font-size:16px;">Java</span><span style="font-size:16px;">面试题附带目录和答案,希望对各位小伙伴的成长有所帮助!</span><span></span> </p> <p> <span style="font-size:16px;">值得一提的是,<span style="color:#E53333;">本季课程实战的应用场景包括“日志记录”、“邮件发送”、“通告消息通知”、“短信验证码失效验证”、“会员到期自动提醒</span></span><span style="font-size:16px;color:#E53333;">/</span><span style="font-size:16px;color:#E53333;">到期前</span><span style="font-size:16px;color:#E53333;">N</span><span style="font-size:16px;"><span style="color:#E53333;">天自动提醒”以及“点赞系统”的设计与实战</span>,其大纲如下所示:</span><span></span> </p> <p style="text-align:center;"> <img src="https://img-bss.csdn.net/202003191542029393.jpg" alt="" /></p> <p> <span style="font-size:16px;">其中,<span style="color:#E53333;">涉及到的技术栈包括</span></span><span style="font-size:16px;color:#E53333;">Spring Boot2.0</span><span style="font-size:16px;color:#E53333;">、</span><span style="font-size:16px;color:#E53333;">Mybatis</span><span style="font-size:16px;color:#E53333;">、</span><span style="font-size:16px;color:#E53333;">Undertow</span><span style="font-size:16px;color:#E53333;">、</span><span style="font-size:16px;color:#E53333;">Redis</span><span style="font-size:16px;color:#E53333;">、</span><span style="font-size:16px;color:#E53333;">RabbitMQ</span><span style="font-size:16px;color:#E53333;">、</span><span style="font-size:16px;color:#E53333;">Redisson</span><span style="font-size:16px;color:#E53333;">、</span><span style="font-size:16px;color:#E53333;">Spring AOP</span><span style="font-size:16px;color:#E53333;">、</span><span style="font-size:16px;color:#E53333;"> Java8…</span><span style="font-size:16px;">下面罗列出本门课程重点介绍的价格应用案例以及业务场景的实现流程图!</span><span></span> </p> <p> <span style="font-size:16px;"></span><span style="font-size:16px;">1</span><span style="font-size:16px;">基于</span><span style="font-size:16px;">Spring</span><span style="font-size:16px;">的消息驱动模型实现日志的异步记录:</span><span></span> </p> <p style="text-align:center;"> <img src="https://img-bss.csdn.net/202003191542305270.png" alt="" /></p> <p> <span style="font-size:16px;"></span><span style="font-size:16px;">2</span><span style="font-size:16px;">基于消息中间件</span><span style="font-size:16px;">RabbitMQ</span><span style="font-size:16px;">的消息队列实现日志的异步记录:</span><span></span> </p> <p style="text-align:center;"> <img src="https://img-bss.csdn.net/202003191542392329.png" alt="" /></p> <p> <span style="font-size:16px;"></span><span style="font-size:16px;">3</span><span style="font-size:16px;">基于缓存中间件</span><span style="font-size:16px;">Redis</span><span style="font-size:16px;">的订阅发布机制实现商户公告消息通知:</span><span></span> </p> <p style="text-align:center;"> <img src="https://img-bss.csdn.net/202003191542464483.png" alt="" /></p> <p> <span style="font-size:16px;"></span><span style="font-size:16px;">4</span><span style="font-size:16px;">基于</span><span style="font-size:16px;">Redis</span><span style="font-size:16px;">的</span><span style="font-size:16px;">Key</span><span style="font-size:16px;">失效与定时任务实现实现短信验证码的过期失效验证:</span><span></span> </p> <p style="text-align:center;"> <img src="https://img-bss.csdn.net/202003191542561828.png" alt="" /></p> <p> <span style="font-size:16px;">其他核心、典型的应用案例和业务场景的实战可以详细参考“课程目录”!</span><span></span> </p> <p> <br /></p> <p> <span style="font-size:16px;">除此之外,我们还基于缓存中间件</span><span style="font-size:16px;">Redis</span><span style="font-size:16px;">设计并实战实现了点赞系统中的点赞功能模块,下面罗列出其中涉及到的相关功能模块的实战流程图:</span><span></span> </p> <p style="text-align:center;"> <img src="https://img-bss.csdn.net/202003191543184157.png" alt="" /></p> <p style="text-align:center;"> <img src="https://img-bss.csdn.net/202003191543423775.png" alt="" /></p> <p style="text-align:center;"> <img src="https://img-bss.csdn.net/202003191543505292.png" alt="" /></p> <p style="text-align:center;"> <img src="https://img-bss.csdn.net/202003191543586733.png" alt="" /></p> <p style="text-align:left;"> <br /></p> <p style="text-align:left;"> <span style="font-size:16px;">其<strong>课程收益</strong>如下所示:</span> </p> <p style="text-align:center;"> <img src="https://img-bss.csdn.net/202003191544518309.png" alt="" /></p>
相关推荐
一、课程简介<br /> <br /> 随着技术的飞速发展,经过多年的数据积累,各互联网公司已保存了海量的原始数据和各种业务数据,所以数据仓库技术是各大公司目前都需要着重发展投入的技术领域。数据仓库是面向分析的集成化数据环境,为企业所有决策制定过程,提供系统数据支持的战略集合。通过对数据仓库中数据的分析,可以帮助企业改进业务流程、控制成本、提高产品质量等。<br /> <br /> 二、课程内容<br /> <br /> 本次精心打造的数仓项目的课程,项目架构的搭建,到数据采集模块的设计、数仓架构的设计、实战需求实现、即席查询的实现,我们针对国内目前广泛使用的Apache原生框架和CDH版本框架进行了分别介绍,Apache原生框架介绍中涉及到的技术框架包括Flume、Kafka、Sqoop、MySql、HDFS、Hive、Tez、Spark、Presto、Druid等,CDH版本框架讲解包括CM的安装部署、Hadoop、Zookeeper、Hive、Flume、Kafka、Oozie、Impala、HUE、Kudu、Spark的安装配置,透彻了解不同版本框架的区别联系,将大数据全生态系统前沿技术一网打尽。在过程中对大数据生态体系进行了系统的讲解,对实际企业数仓项目中可能涉及到的技术点都进行了深入的讲解和探讨。同时穿插了大量数仓基础理论知识,让你在掌握实战经验的同时能够打下坚实的理论基础。<br /> <br /> <br /> 三、课程目标<br /> <br /> 本课程以国内电商巨头实际业务应用场景为依托,对电商数仓的常见实战指标以及难点实战指标进行了详尽讲解,具体指标包括:每日、周、月活跃设备明细,留存用户比例,沉默用户、回流用户、流失用户统计,最近连续3周活跃用户统计,最近7天内连续3天活跃用户统计,GMV成交总额分析,转化率及漏斗分析,品牌复购率分析、订单表拉链表的设计等,让学生拥有更直观全面的实战经验。通过对本课程的学习,对数仓项目可以建立起清晰明确的概念,系统全面的掌握各项数仓项目技术,轻松应对各种数仓难题。<br /> <br /> 四、课程亮点<br /> 本课程结合国内多家企业实际项目经验,特别加入了项目架构模块,集群规模的确定到框架版本选型以及服务器选型,手把手教你零开始搭建大数据集群。并且总结大量项目实战中会遇到的问题,针对各个技术框架,均有调优实战经验,具体包括:常用Linux运维命令、Hadoop集群调优、Flume组件选型及性能优化、Kafka集群规模确认及关键参数调优。通过这部分学习,助学生迅速成长,获取前沿技术经验,容解决实战问题。<br /> <br /> <br /> <div> <br /> </div>
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值