Go进阶45:Golang简洁的日志收集系统(替代ELKB)

<span class="img-wrap"></span>

<h2>0. 原文地址: https://mojotv.cn/go/golang-ELKB</h2><h2>1. 背景</h2>

不废话,
Golang 日志查看疼点

<ol><li>linux查看日志,一般开发者对linux命令不是很熟悉, 搜索日志更加难上加难</li><li>JAVA生态 ELKB 日志收集搭建复杂,</li><li>需要的是一个快速查看搜索,客户端来搜索日志</li></ol><h3>1.1 前期准备</h3>

我们可以使用logrus hook 快速的输出日志到Elastic Search 在使用Chrome Elastic Search GUI插件快速的定位你想用的日志.

<ol><li>收集日志: https://github.com/sirupsen/l...</li><li>日志保存: docker elastic-search 数据库 : <code>docker run -d --name es.dev -p 9201:9200 -p 9301:9300 -e "discovery.type=single-node" elastic/elasticsearch:6.7.1</code></li><li>ES客户端: chrome插件 Chrome Plugin ElasticSearch Head</li></ol><h2>2. 安装ES数据库</h2>

你可以去网上搜搜索 es数据库安装,在本教程中我们就来安装一个 docker es 单节点 (处理golang日志性能足够)

<ul><li>拉取镜像 <code>docker pull elasticsearch:6.7.0</code></li><li>安装docker <code>docker run -d --name mojocn.es -p 9201:9200 -p 9301:9300 -e "discovery.type=single-node" elastic/elasticsearch:6.7.1</code></li></ul>

这样就您就启动了一个 名字为 mojocn.es 端口 9201的单节点数据库.

<h2>3. 编写实现 logrus HOOK interface (核心代码)</h2>

main.go 完整代码: https://github.com/mojocn/eslogrushook

<pre><code class="go">package main import ( "context" "fmt" "github.com/olivere/elastic" "github.com/sirupsen/logrus" "log" "os" "strings" "time" ) //cfg 配置文件 type cfg struct { LogLvl string // 日志级别 EsAddrs []string //ES addr EsUser string //ES user EsPassword string //ES password } //setupLogrus 初始化logrus 同时把logrus的logger var 引用到这个common.Logger func setupLogrus(cc cfg) error { //logFileName := fmt.Sprintf("%s_%s.log", os.Args[1], time.Now().Format("06_01_02T15_04_05")) // //f, err := os.Create(logFileName) //if err != nil { // return err //} logLvl, err := logrus.ParseLevel(cc.LogLvl) if err != nil { return err } logrus.SetLevel(logLvl) //logrus.SetReportCaller(true) //logrus.SetFormatter(&logrus.JSONFormatter{}) //使用console默认输出 //logrus.SetOutput(f) logrus.SetReportCaller(true) //开启 logrus ES hook esh := newEsHook(cc) logrus.AddHook(esh) fmt.Printf(">= error 级别,查看日志 %#v 中的logrus* 索引\n", cc.EsAddrs) return nil } func main() { cc := cfg{ LogLvl: "error", EsAddrs: []string{"http://es.felix.mojotv.cn:9202/"}, EsUser: "", EsPassword: "", } err := setupLogrus(cc) if err != nil { log.Fatal(err) } logrus.WithField("URI", "mojotv.cn").Error("I love my son Felix") //等待日志发送到ES time.Sleep(time.Second * 10) } //esHook 自定义的ES hook type esHook struct { cmd string // 记录启动的命令 client *elastic.Client } //newEsHook 初始化 func newEsHook(cc cfg) *esHook { es, err := elastic.NewClient( elastic.SetURL(cc.EsAddrs...), elastic.SetBasicAuth(cc.EsUser, cc.EsPassword), elastic.SetSniff(false), elastic.SetHealthcheckInterval(15*time.Second), elastic.SetErrorLog(log.New(os.Stderr, "ES:", log.LstdFlags)), //elastic.SetInfoLog(log.New(os.Stdout, "ES:", log.LstdFlags)), ) if err != nil { log.Fatal("failed to create Elastic V6 Client: ", err) } return &esHook{client: es, cmd: strings.Join(os.Args, " ")} } //Fire logrus hook interface 方法 func (hook *esHook) Fire(entry *logrus.Entry) error { doc := newEsLog(entry) doc["cmd"] = hook.cmd go hook.sendEs(doc) return nil } //Levels logrus hook interface 方法 func (hook *esHook) Levels() []logrus.Level { return []logrus.Level{ logrus.PanicLevel, logrus.FatalLevel, logrus.ErrorLevel, } } //sendEs 异步发送日志到es func (hook *esHook) sendEs(doc appLogDocModel) { defer func() { if r := recover(); r != nil { fmt.Println("send entry to es failed: ", r) } }() _, err := hook.client.Index().Index(doc.indexName()).Type("_doc").BodyJson(doc).Do(context.Background()) if err != nil { log.Println(err) } } //appLogDocModel es model type appLogDocModel map[string]interface{} func newEsLog(e *logrus.Entry) appLogDocModel { ins := map[string]interface{}{} for kk, vv := range e.Data { ins[kk] = vv } ins["time"] = time.Now().Local() ins["lvl"] = e.Level ins["message"] = e.Message ins["caller"] = fmt.Sprintf("%s:%d %#v", e.Caller.File, e.Caller.Line, e.Caller.Func) return ins } // indexName es index name 时间分割 func (m *appLogDocModel) indexName() string { return "mojocn-cn-" time.Now().Local().Format("2006-01-02") } </code></pre>

go run main.go 日志输出

<pre><code class="bash">>= error 级别,查看日志 []string{"http://i.love.mojotv.cn:9202/"} 中的logrus* 索引 time="2020-07-17T17:26:03 08:00" level=error msg=lld func=main.main file="D:/GolandProjects/logrusEsHook/main.go:59" URI=mojotv.cn</code></pre><h2>4. Chrome 插件 ElasticSearch Head 日志查看</h2><ol><li>配置ES 连接地址</li><li>查看/搜索 logrus日志</li></ol>

<span class="img-wrap"></span>

到此这篇关于“Go进阶45:Golang简洁的日志收集系统(替代ELKB)”的文章就介绍到这了,更多文章或继续浏览下面的相关文章，希望大家以后多多支持JQ教程网！

您可能感兴趣的文章：
Go进阶45:Golang简洁的日志收集系统(替代ELKB)
Go 开发关键技术指南 | 为什么你要选择 Go？(内含超全知识大图）
golang 日志分析_每日一库之 logrus 日志使用教程
2018年最全Go语言教程零基础入门到进阶实战视频
Go 语言的核心优势
golang日志服务器_深扒GO日志 | （一）从Go语言的日志包说起
go 杂谈一
go语言有哪些优势？Go语言的核心特性有哪些
Golang垃圾回收机制
从零入门 Serverless | 函数计算的可观测性