File tree 1 file changed +97
-4
lines changed
1 file changed +97
-4
lines changed Original file line number Diff line number Diff line change 1
- 用java版本重写logstash目的是提升性能,跟ruby logstash 对比 请看 https://github.com/DTStack/jlogstash-performance-testing
1
+ #说明:
2
+ 用java版本重写logstash目的是提升性能,跟ruby logstash 对比 请看 https://github.com/DTStack/jlogstash-performance-testing
2
3
3
- 不同的业务,性能会有所不同,dtstack 后台日志解析 java 版本是ruby版本的5倍,在单台4g 4cores 虚拟机上。
4
+ 不同的业务,性能会有所不同,dtstack 后台日志解析 java 版本是ruby版本的5倍,在单台4g 4cores 虚拟机上。
4
5
5
- jlogstash 的参数配置和使用看wiki介绍,现在的插件跟ruby版本相比还太少,希望更多的人参与开发。
6
+ jlogstash 的参数配置和使用看wiki介绍,现在的插件跟ruby版本相比还太少,希望更多的人参与开发。
7
+
8
+ 各个插件代码在jlogstash-input-plugin,jlogstash-output-plugin,jlogstash-filter-plugin。
9
+
10
+
11
+
12
+ #现在已有的公共插件:
13
+
14
+ ##inputs:
15
+ Kafka:
16
+
17
+ Stdin:
18
+
19
+ Tcp(mina实现):
20
+
21
+ Netty(netty 实现):
22
+
23
+ Beats:
24
+
25
+ File:
26
+
27
+ ##filters:
28
+ Add:
29
+
30
+ DateISO8601:
31
+
32
+ IpIp:
33
+
34
+ Grok:
35
+
36
+ Gsub:
37
+
38
+ Json:
39
+
40
+ KV:
41
+
42
+ Lowercase:
43
+
44
+ Remove:
45
+
46
+ Rename:
47
+
48
+ Replace:
49
+
50
+ Trim:
51
+
52
+ UA:
53
+
54
+ Uppercase:
55
+
56
+ URLDecode:
57
+
58
+
59
+ ##outputs:
60
+ Elasticsearch5:
61
+
62
+ Elasticsearch:
63
+
64
+ File:
65
+
66
+ Kafka:
67
+
68
+ Netty:
69
+
70
+ Performance:
71
+ 记录一段时间内处理的记录数
72
+
73
+ Stdout:
74
+
75
+ #jar放置目录(编译的jar必须要有版本号 ):
76
+
77
+ jlogstash 核心代码放在jlogstash/lib/下
78
+
79
+ 插件的代码分别的放到jlogstash/plugin 下的filter,input,output目录下
80
+
81
+ #jlogstash 启动参数:
82
+
83
+ -f:配置文件 yaml格式路径
84
+
85
+ -l:日志文件路径
86
+
87
+ -i: input queue size coefficient 默认 200f/1024
88
+
89
+ -w: filter work number 默认是根据的机器cpu核数+2
90
+
91
+ -o: output work number 默认是根据的机器cpu核数
92
+
93
+ -c: output queue size coefficient 默认 500f/1024
94
+
95
+ -v: info级别
96
+
97
+ -vv: debug 级别
98
+
99
+ -vvv: trace 级别
6
100
7
- 各个插件代码在jlogstash-input-plugin,jlogstash-output-plugin,jlogstash-filter-plugin。
8
101
You can’t perform that action at this time.
0 commit comments