Golang实现日志收集器 Fluent Bit插件开发
可用Go语言通过Fluent Bit的Go Plugin API开发输出插件实现日志收集，利用out_golang模块加载编译为.so的Go动态库，注册FLBPluginRegister、Init、Flush、Exit函数处理日志，仅支持输出插件。
用 Go 语言开发 Fluent Bit 插件实现日志收集器是可行的，尽管 Fluent Bit 本身是用 C 编写的，但通过其提供的 Go Plugin API，你可以用 Go 编写输出插件（Output Plugin），将日志发送到自定义后端。这得益于 Fluent Bit 的动态插件机制（Dynamic Plugins） 和官方提供的 Go binding 支持。
1. 理解 Fluent Bit 插件机制
Fluent Bit 支持使用 C 编写插件，也支持通过 out_golang 模块加载用 Go 编写的输出插件。核心原理是：
- Fluent Bit 启动时加载一个 Go 编译成的动态库（.so 文件）
- 该库导出特定函数（如 FLBPluginRegister、FLBPluginInit 等）供 Fluent Bit 调用
- Go 插件通过 CGO 包装，调用 Fluent Bit 的 C 接口处理日志数据
你不能用 Go 写输入（Input）或过滤（Filter）插件，目前仅支持输出插件。
2. 开发环境准备
确保以下工具已安装：
- Go 1.18+
- Fluent Bit 2.0+
- gcc 或 clang（用于 CGO 编译）
- pkg-config（可选，但推荐）
安装 Go binding：
go get github.com/fluent/fluent-bit-go/output
3. 编写 Go 插件代码
创建一个 Go 文件，例如 mylogger.go：
package mainimport ( "unsafe" "github.com/fluent/fluent-bit-go/output" "github.com/json-iterator/go" )
var json = jsoniter.ConfigCompatibleWithStandardLibrary
//export FLBPluginRegister func FLBPluginRegister(ctx unsafe.Pointer) int { return output.FLBPluginRegister(ctx, "mylogger", "Custom Go Logger") }
//export FLBPluginInit func FLBPluginInit(ctx unsafe.Pointer) int { // 可以从配置中读取参数 output.FLBPluginSetContext(ctx, "example-config-value") return output.FLB_OK }
//export FLBPluginFlush func FLBPluginFlush(data unsafe.Pointer, length C.int, tag *C.char) int { defer output.FLBPluginGolangFlushCtx()
// 解析日志记录 dec := output.NewDecoder(data, int(length)) var result map[interface{}]interface{} for { ret, ts, record := output.GetRecord(dec) if ret != 0 { break } // 转换 record 为 map[string]interface{} m := make(map[string]interface{}) for k, v := range record { m[k.(string)] = v } // 添加时间戳 m["timestamp"] = ts // 输出或发送到远程服务（如 Kafka、HTTP、文件等） jsonData, _ := json.Marshal(m) println("Go Plugin:", string(jsonData)) } return output.FLB_OK
}
//export FLBPluginExit
func FLBPluginExit() {
println("Go Plugin exited")
}
func main() {}
说明：
- FLBPluginRegister：注册插件名称和描述
- FLBPluginInit：初始化，可读取配置参数
- FLBPluginFlush：核心逻辑，每批日志到达时调用
- FLBPluginExit：插件退出时清理资源
4. 编译生成动态库
使用以下命令编译为 .so 文件：
go build -buildmode=c-archive -o mylogger.so mylogger.go
会生成两个文件：mylogger.so 和 mylogger.h，Fluent Bit 只需要 .so。
5. 配置 Fluent Bit 使用插件
在 fluent-bit.conf 中配置：
[SERVICE]
Flush 1
Log_Level info
[INPUT]
Name dummy
Dummy {"message": "hello", "from": "golang"}
[OUTPUT]
Name out_golang
Match *
Module /path/to/mylogger.so
Metric off
启动 Fluent Bit：
./fluent-bit -c fluent-bit.conf
你会看到输出类似：
Go Plugin: {"from":"golang","message":"hello","timestamp":...}
6. 扩展功能：发送日志到远程服务
你可以在 FLBPluginFlush 中添加逻辑，将日志发送到：
- HTTP 服务（使用 net/http）
- Kafka（使用 sarama）
- Elasticsearch（使用 elastic/go-elasticsearch）
- 自定义消息队列或数据库
例如发送到 HTTP：
resp, err := http.Post("http://your-logger.com/logs", "application/json", bytes.NewBuffer(jsonData))
if err != nil {
return output.FLB_ERROR
}
resp.Body.Close()
7. 注意事项
- Go 插件只能作为输出插件使用
- 性能：Go 的 GC 和协程调度可能引入延迟，适合中低吞吐场景
- 线程安全：Fluent Bit 可能并发调用 Flush，注意共享状态保护
- 错误处理：返回 FLB_ERROR 会让 Fluent Bit 重试
- 内存管理：避免在 Go 中长期持有 CGO 指针数据
基本上就这些。用 Go 开发 Fluent Bit 插件适合快速实现定制化日志输出逻辑，无需深入 C 语言。只要理解数据流和接口约定，就能高效构建日志收集器。
以上就是Golang实现日志收集器 Fluent Bit插件开发的详细内容，更多请关注骃骐网【www.myinqi.com】。