Linux-Supervisor-Base-1

Supervisor使用详解

转载:https://www.cnblogs.com/yuan-yang/p/12906259.html

一、supervisor简介

Supervisor 是用 Python 开发的一套通用的进程管理程序,能将一个普通的命令行进程变为后台 daemon ,并监控进程状态,异常退出时能自动重启。它是通过 fork/exec 的方式把这些被管理的进程当作 supervisor 的子进程来启动,这样只要在 supervisor 的配置文件中,把要管理的进程的可执行文件的路径写进去即可。也实现当子进程挂掉的时候,父进程可以准确获取子进程挂掉的信息的,可以选择是否自己启动和报警。supervisor还提供了一个功能,可以为 supervisord 或者每个子进程,设置一个非 root 的 user ,这个 user 就可以管理它对应的进程。

二、supervisor 安装

1、配置好 apt-get 源后,可以直接安装

1
apt-get install supervisor

2、pip 安装

1
pip install supervisor

3、easy_install 安装

1
easy_install supervisor

三、supervisor 使用

创建目录,初始化配置文件

1
2
mkdir /etc/supervisor/
echo supervisord_conf > /etc/supervisor/supervisord.conf
注:
1、为了不将所有新增配置信息全写在一个配置文件里,这里新建一个文件夹
mkdir /etc/supervisor/conf.d/
2、修改系统配置文件
vim /etc/supervisor/supervisord.conf
3、include 2.1 中新建的 conf.d 文件夹下所有的 conf
[include]
files = /etc/supervisor/conf.d/*.conf

supervisor 配置文件:/etc/supervisor/supervisord.conf

注:supervisor 的配置文件默认是不全的,不过在大部分默认的情况下,上面说的基本功能已经满足。

子进程配置文件路径:/etc/supervisor/supervisord.d/

注:默认子进程配置文件为 ini 格式,可在 supervisor 主配置文件中修改。

四、配置文件说明

supervisor.conf 配置文件说明:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
[unix_http_server]
file=/tmp/supervisor.sock ;UNIX socket 文件,supervisorctl 会使用
;chmod=0700 ;socket 文件的 mode,默认是 0700
;chown=nobody:nogroup ;socket 文件的 owner,格式:uid:gid

;[inet_http_server];HTTP服务器,提供 web 管理界面
;port=127.0.0.1:9001 ;Web 管理后台运行的 IP 和端口,如果开放到公网,需要注意安全性
;username=user;登录管理后台的用户名
;password=123 ;登录管理后台的密码

[supervisord]
logfile=/tmp/supervisord.log ;日志文件,默认是 $CWD/supervisord.log
logfile_maxbytes=50MB ;日志文件大小,超出会 rotate,默认 50MB,如果设成 0,表示不限制大小
logfile_backups=10 ;日志文件保留备份数量默认 10,设为 0 表示不备份
loglevel=info ;日志级别,默认 info,其它: debug,warn,trace
pidfile=/tmp/supervisord.pid ;pid 文件
nodaemon=false ;是否在前台启动,默认是 false,即以 daemon 的方式启动
minfds=1024;可以打开的文件描述符的最小值,默认 1024
minprocs=200 ;可以打开的进程数的最小值,默认 200

[supervisorctl]
serverurl=unix:///tmp/supervisor.sock ;通过 UNIX socket 连接 supervisord,路径与 unix_http_server 部分的 file 一致
; serverurl=http://127.0.0.1:9001 ; 通过 HTTP 的方式连接 supervisord

; [program:xx]是被管理的进程配置参数,xx 是进程的名称
[program:xx]
command=/opt/apache-tomcat-8.0.35/bin/catalina.sh run ; 程序启动命令
autostart=true ; 在 supervisord 启动的时候也自动启动
startsecs=10; 启动 10 秒后没有异常退出,就表示进程正常启动了,默认为 1 秒
autorestart=true; 程序退出后自动重启,可选值:[unexpected,true,false],默认为unexpected,表示进程意外杀死后才重启
startretries=3 ; 启动失败自动重试次数,默认是 3
user=tomcat ; 用哪个用户启动进程,默认是 root
priority=999; 进程启动优先级,默认 999,值小的优先启动
redirect_stderr=true ; 把 stderr 重定向到 stdout,默认 false
stdout_logfile_maxbytes=20MB ; stdout 日志文件大小,默认 50MB
stdout_logfile_backups = 20 ; stdout 日志文件备份数,默认是 10
; stdout 日志文件,需要注意当指定目录不存在时无法正常启动,所以需要手动创建目录(supervisord 会自动创建日志文件)
stdout_logfile=/opt/apache-tomcat-8.0.35/logs/catalina.out
stopasgroup=false;默认为 false,进程被杀死时,是否向这个进程组发送 stop 信号,包括子进程
killasgroup=false;默认为 false,向进程组发送 kill 信号,包括子进程

;包含其它配置文件
[include]
files = relative/directory/*.ini ;可以指定一个或多个以 .ini 结束的配置文件

子进程配置文件说明:

给需要管理的子进程(程序)编写一个配置文件,放在 /etc/supervisor/conf.d/ 目录下,以 .ini 作为扩展名(每个进程的配置文件都可以单独分拆也可以把相关的脚本放一起)。如任意定义一个和脚本相关的项目名称的选项组(/etc/supervisor/conf.d/test.conf)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
# 项目名
[program:blog]
# 脚本目录
directory=/opt/bin
# 脚本执行命令
command=/usr/bin/python /opt/bin/test.py
# supervisor 启动的时候是否随着同时启动,默认 True
autostart=true

# 当程序 exit 的时候,这个 program 不会自动重启,默认 unexpected,设置子进程挂掉后自动重启的情况,有三个选项,false,unexpected 和 true。如果为 false 的时候,无论什么情况下,都不会被重新启动,如果为 unexpected,只有当进程的退出码不在下面的 exitcodes 里面定义的
autorestart=false
# 这个选项是子进程启动多少秒之后,此时状态如果是 running,则我们认为启动成功了。默认值为 1
startsecs=1

# 脚本运行的用户身份
user = test

# 日志输出
stderr_logfile=/tmp/blog_stderr.log
stdout_logfile=/tmp/blog_stdout.log
# 把 stderr 重定向到 stdout,默认 false
redirect_stderr = true
# stdout 日志文件大小,默认 50MB
stdout_logfile_maxbytes = 20M
# stdout 日志文件备份数
stdout_logfile_backups = 20

子进程配置示例:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
[program:test_one]
command=java -jar /data/smallvideo/supervisor/taskApp-exec.jar TaskTestOne ; 被监控的进程路径
priority = 1 ; 数字越高,优先级越高
numprocs=1 ; 启动几个进程
autostart=true ; 随着 supervisord 的启动而启动
autorestart=true; 自动重启
startretries=10 ; 启动失败时的最多重试次数
exitcodes=0 ; 正常退出代码
stopsignal=KILL ; 用来杀死进程的信号
stopwaitsecs=10 ; 发送 SIGKILL 前的等待时间
redirect_stderr=true ; 重定向 stderr 到 stdout

[program:test_two]
command=java -jar /data/smallvideo/supervisor/taskApp-exec.jar TaskTestTwo ; 被监控的进程路径
priority=1 ; 数字越高,优先级越高
numprocs=1 ; 启动几个进程
autostart=true ; 随着 supervisord 的启动而启动
autorestart=true; 自动重启
startretries=10 ; 启动失败时的最多重试次数
exitcodes=0 ; 正常退出代码
stopsignal=KILL ; 用来杀死进程的信号
stopwaitsecs=10 ; 发送 SIGKILL 前的等待时间
redirect_stderr=true ; 重定向 stderr 到 stdout

五、supervisor 命令说明

常用命令

1
2
3
4
5
6
supervisorctl status        // 查看所有进程的状态
supervisorctl stop es // 停止 es
supervisorctl start es // 启动 es
supervisorctl restart // 重启 es
supervisorctl update // 配置文件修改后使用该命令加载新的配置
supervisorctl reload // 重新启动配置中的所有程序

注意事项

使用 supervisor 进程管理命令之前先启动 supervisord,否则程序报错。
使用命令 supervisord -c /etc/supervisor/supervisord.conf 启动。

若是 centos7

1
2
systemctl start supervisord.service     // 启动 supervisor 并加载默认配置文件
systemctl enable supervisord.service // 将 supervisor 加入开机启动项

若是 Ubuntu

1.在 /lib/systemd/system/ 中添加 supervisord.service 文件

1
2
3
4
5
6
7
8
[Unit]
Description=Supervisord Service
[Service]
Restart=on-failure
RestartSec=42s
User=myuser
ExecStart=/home/myuser/.pyenv/versions/3.6.8/bin/supervisord -n -c /home/myuser/etc/supervisord.conf
[Install]

User 替换成你的用户名,ExecStart 命令中 supervisord 的路径替换成你自己的路径 supervisord.conf 同样替换成你自己的配置路径,常用路径是 /etc/supervisord.conf,因权限问题我在用户目录里添加了配置。

2.执行如下命令

1
2
3
sudo systemctl daemon-reload
sudo systemctl enable supervisord.service
sudo systemctl start supervisord.service

3.最后重启就可以看到,supervisor 已经自启动

常见问题

1、unix:///var/run/supervisor/supervisor.sock no such file
问题描述:安装好 supervisor 没有开启服务直接使用 supervisorctl 报的错
解决办法:supervisord -c /etc/supervisor/supervisord.conf

2、command 中指定的进程已经起来,但 supervisor 还不断重启
问题描述:command 中启动方式为后台启动,导致识别不到 pid,然后不断重启,这里使用的是 elasticsearch,command 指定的是 $path/bin/elasticsearch -d
解决办法:supervisor 无法检测后台启动进程的 pid,而 supervisor 本身就是后台启动守护进程,因此不用担心这个

3、启动了多个 supervisord 服务,导致无法正常关闭服务
问题描述:在运行 supervisord -c /etc/supervisor/supervisord.conf 之前,直接运行过 supervisord -c /etc/supervisor/conf.d/xx.conf 导致有些进程被多个 superviord 管理,无法正常关闭进程。
解决办法:使用 ps -fe | grep supervisord 查看所有启动过的 supervisord 服务,kill 相关的进程。

Contents
  1. 1. Supervisor使用详解
    1. 1.1. 一、supervisor简介
    2. 1.2. 二、supervisor 安装
      1. 1.2.1. 1、配置好 apt-get 源后,可以直接安装
      2. 1.2.2. 2、pip 安装
      3. 1.2.3. 3、easy_install 安装
    3. 1.3. 三、supervisor 使用
    4. 1.4. 四、配置文件说明
    5. 1.5. 五、supervisor 命令说明
      1. 1.5.1. 常用命令
      2. 1.5.2. 注意事项
    6. 1.6. 常见问题
|