centos 6 rsyslog 日志实时同步

# centos 6 using rsyslog

一、Rsyslog简介

ryslog 是一个快速处理收集系统日志的程序，提供了高性能、安全功能和模块化设计。rsyslog 是syslog 的升级版，它将多种来源输入输出转换结果到目的地。

Rsyslog的传输方式有三种:

- UDP 传输协议
基于传统UDP协议进行远程日志传输，也是传统syslog使用的传输协议；
可靠性比较低，但性能损耗最少
在网络情况比较差，或者接收服务器压力比较高情况下，可能存在丢日志情况。
- TCP 传输协议
基于传统TCP协议明文传输，需要回传进行确认，可靠性比较高；
但在接收服务器宕机或者两者之间网络出问题的情况下，会出现丢日志情况。
- RELP 传输协议
RELP（Reliable Event Logging Protocol）是基于TCP封装的可靠日志消息传输协议；
是为了解决TCP 与 UDP 协议的缺点而在应用层实现的传输协议，也是三者之中最可靠的。
对于线上服务器，为了日志安全起见，建议使用还是使用 RELP 协议进行传输。

---

## master:

# vim /etc/sysconfig/iptables

iptables -I INPUT -p tcp --dport 514 -j ACCEPT
iptables -I INPUT -p udp --dport 514 -j ACCEPT

# vim /etc/sysconfig/rsyslog

# Options for rsyslogd
    # Syslogd options are deprecated since rsyslog v3.
    # If you want to use them, switch to compatibility mode 2 by "-c 2"
    # See rsyslogd(8) for more details

SYSLOGD_OPTIONS="-c 2 -r -x -m 180"
KLOGD_OPTIONS="-x"

各参数详解： 
- -c 指定运行兼容模式。 
- -r 指定监听端口。 默认514 
- -x 在接收客户端消息时，禁用DNS查找。需和-r参数配合使用。 
- -m 标记时间戳。单位是分钟，为0时，表示禁用该功能。

master:

grep -Ev '^#|^$' /etc/rsyslog.conf

```bash
$ModLoad imuxsock # provides support for local system logging (e.g. via logger command)
$ModLoad imklog   # provides kernel logging support (previously done by rklogd)
$ModLoad immark  # provides --MARK-- message capability
$ModLoad imudp
$UDPServerRun 514
$ModLoad imtcp
$InputTCPServerRun 514

$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat

$template Remote,"/home/data/rsyslog/%fromhost-ip%/%fromhost-ip%_%$YEAR%-%$MONTH%-%$DAY%.log"
:fromhost-ip, !isequal, "127.0.0.1" ?Remote

$IncludeConfig /etc/rsyslog.d/*.conf
*.info;mail.none;authpriv.none;cron.none                /var/log/messages
authpriv.*                                              /var/log/secure
mail.*                                                  -/var/log/maillog
cron.*                                                  /var/log/cron
*.emerg                                                 *
uucp,news.crit                                          /var/log/spooler
local7.*                                                /var/log/boot.log
$WorkDirectory /var/lib/rsyslog # where to place spool files
rw------- 1 root root 20849 Aug 11 02:32 1.81.235.104_2017-08-11.log
```

[root@ELK 1.81.235.104]# pwd

/home/data/rsyslog/1.81.235.104

```bash
Aug 11 12:28:50 ams sshd[1715]: Accepted password for tester from 1.81.235.220 port 57153 ssh2
Aug 11 12:28:50 ams sshd[1715]: pam_unix(sshd:session): session opened for user tester
$InputFileTag定义的NAME必须唯一，同一台主机上不同的应用应当使用不同的NAME，否则会导致新定义的TAG不生效；
$InputFileStateFile定义的StateFile必须唯一，它被rsyslog用于记录文件上传进度，否则会导致混乱；
@1.81.235.220:514用于指定接收日志的服务器，UDP协议，IP，port
有需要的话，$InputFileSeverity info 也添加上
$InputFilePollInterval 5 等待5秒钟发送一次,

Node1 client

```

grep -Ev '^#|^$' /etc/rsyslog.conf

```bash
#$ModLoad ommysql.so
#*.* :ommysql:localhost,Syslog,rsyslog,123456
#注:localhost表示本地主机，Syslog为数据库名，rsyslog为数据库的用户，123456为该用户密码
$ModLoad imuxsock # provides support for local system logging (e.g. via logger command)
$ModLoad imklog   # provides kernel logging support (previously done by rklogd)
$ModLoad imfile
$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat

$template myFormat,"%timestamp% %fromhost-ip% %msg%\n"
$ActionFileDefaultTemplate myFormat

$IncludeConfig /etc/rsyslog.d/*.conf

*.info;mail.none;authpriv.none;cron.none                @@10.81.235.220

authpriv.*                                              /var/log/secure
authpriv.*                                              @@1.81.235.220
mail.*                                                  -/var/log/maillog
cron.*                                                  /var/log/cron
*.emerg                                                 *
uucp,news.crit                                          /var/log/spooler
local7.*                                                /var/log/boot.log
$WorkDirectory /var/lib/rsyslog # where to place spool files

module(load="imfile" PollingInterval="60")
$InputFileName /u/sdttmg/log/Robot.log
$InputFileTag robot-info:
$InputFileStateFile state-robot-info
$InputRunFileMonitor
$InputFilePollInterval 5
```