crontab命令是Unix和Linux用于设置周期性被执行的指令,是互联网很常用的技术,很多任务都会设置在crontab循环执行。crontab命令可以精确到分(精确到秒的一般写脚本),相当于闹钟。
如果不使用crontab,那么任务就是常驻程序,这对你的程序要求比较高,一个要求你的程序是24X7小时不宕机,一个是要求你的调度程序比较可靠,实际工作中,90%的程序都没有必要花这么多时间和精力去解决上面的两个问题的,只需要写好自己的业务逻辑,通过Crontab这 工业级程序去调度就行了。
安装完操作系统后,默认会启动此任务调度命令,crond服务的最低侦测限制是『分钟』,所以cron 会每分钟去读取一次 /etc/crontab、etc/cron.d/ 目录、以及 /var/spool/cron 目录中的改变 ,如果发现了改变,它们就会被载入内存。因此,只要你编辑完 /etc/crontab 这个文件,并且将它储存之后,那么 cron 的配置就自动的会来运行了!
备注:在 Linux 底下的 crontab 会自动的帮我们每分钟重新读取一次 /etc/crontab 的例行工作事项,但是某些原因或者是其他的 Unix 系统中,由于 crontab 是读到内存当中的,所以在你修改完 /etc/crontab 之后,可能并不会马上运行, 这个时候请重新启动 crond 这个服务吧!可以执行/etc/init.d/crond restart 或 service crond restart命令。
一、语法
crontab (选项) file
选项
-e:编辑某个用户的crontab文件内容。如果不指定用户,则表示编辑当前用户的crontab文件;
-l:显示某个用户的crontab文件内容,如果不指定用户,则表示显示当前用户的crontab文件内容;
-r:从/var/spool/cron目录中删除某个用户的crontab文件,如果不指定用户,则默认删除当前用户的crontab文件;
-u<用户名称>:指定要设定计时器的用户名称,例如,“-u haha”表示设定haha用户的crontab服务,此参数一般由root用户来运行;
-i 在删除用户的crontab文件时给确认提示。
-s (selinux context)
file是命令文件的名字,表示将file做为crontab的任务列表文件并载入crontab。如果在命令行中没有指定这个文件,crontab命令将接受标准输入(键盘)上键入的命令,并将它们载入crontab。
二、Crond 服务管理
默认情况系统并没有为我们启动 crond 服务,如果想开机启动,需要在 /etc/rc.d/rc.local 中添加 service crond start 这一行,其他的管理命令为
# 启动服务
/sbin/service crond start
# 关闭服务
/sbin/service crond stop
# 重启服务
/sbin/service crond restart
# 重新载入配置
/sbin/service crond reload
三、定时任务分类
Linux下的任务调度分为两类,系统任务调度和用户任务调度。
- 系统任务调度:系统周期性所要执行的工作,比如写缓存数据到硬盘、日志清理等。
在/etc/crontab文件,这个就是系统任务调度的配置文件。 - 用户任务调度:用户定期要执行的工作,比如用户数据备份、定时邮件提醒等。
用户可以使用 crontab 工具来定制自己的计划任务。
在crontab 文件都被保存在/var/spool/cron目录中。其文件名与用户名一致
1.系统定时任务:例如清理系统日志,清理系统缓存 -->不过多的关注
查询系统定时处理任务的路径:
路径1: cd /etc/logrotate.d/ -->可以写定时任务
路径2: cat /etc/crontab -->不推荐使用,但是可以看格式
路径3: ls /etc/ | grep cron*
anacrontab
cron.d -->同路径2 ,可以写定时任务
cron.daily
cron.deny -->控制普通用户使用定时任务crontab
cron.hourly
cron.monthly
crontab
cron.weekly
2.用户的定时任务 -->关注重点
四、文件说明
1./etc/crontab
在/etc目录下有一个crontab文件,这里存放有系统运行的一些调度程序;每个用户可以建立自己的crontab调度,这些文件在/var/spool/cron目录下.
#cat /etc/crontab
前四行是用来配置crond任务运行的环境变量:
-
第一行SHELL变量指定了系统要使用哪个shell,这里是bash
-
第二行PATH变量指定了系统执行命令的路径
-
第三行MAILTO变量指定了crond的任务执行信息将通过电子邮件发送给root用户,如果MAILTO变量的值为空,则表示不发送任务执行信息给用户
-
第四行的HOME变量指定了在执行命令或者脚本时使用的主目录。
-
minute: 表示分钟,可以是从0到59之间的任何整数。
-
hour:表示小时,可以是从0到23之间的任何整数。
-
day:表示日期,可以是从1到31之间的任何整数。
-
month:表示月份,可以是从1到12之间的任何整数。
-
week:表示星期几,可以是从0到7之间的任何整数,这里的0或7代表星期日。
-
command:要执行的命令,可以是系统命令,也可以是自己编写的脚本文件。
在以上各个字段中,还可以使用以下特殊字符:
- 星号(*):代表所有可能的值,例如month字段如果是星号,则表示在满足其它字段的制约条件后每月都执行该命令操作。
- 逗号(,):可以用逗号隔开的值指定一个列表范围,例如,“1,2,5,7,8,9”
- 中杠(-):可以用整数之间的中杠表示一个整数范围,例如“2-6”表示“2,3,4,5,6”
- 正斜线(/):可以用正斜线指定时间的间隔频率,例如“0-23/2”表示每两小时执行一次。同时正斜线可以和星号一起使用,例如*/10,如果用在minute字段,表示每十分钟执行一次。
注:
- 数字的表示最好用2为阿拉伯数字显示
- 周和日最好不要同时用
- 定时任务要加注解
- 可以定向到日志文件或者空文件
- 定时任务一定是绝对路径,且目录必须存在才能出结果
- crontab 服务一定要开启运行
2./var/spool/cron/
每个系统用户都可以有自己的crontab文件,在/var/spool/cron/目录下。如果你是root用户,那下面有个root文件,建议日常备份,避免误删除导致crontab 文件丢失。
当使用者使用 crontab 这个命令来创建工作排程之后,该项工作就会被纪录到 /var/spool/cron/ 里,而且是以帐号来作为判别的。举例来说, sun 使用 crontab 后, 他的工作会被纪录到 /var/spool/cron/sun 里。但请注意,不要使用 vi 直接编辑该文件, 因为可能会由于输入语法错误导致无法运行 cron 。另外, cron 运行的每一项工作都会被纪录到 /var/log/cron 这个登录档中,所以,如果你的 Linux 不知道有否被植入木马时,也可以搜寻一下 /var/log/cron 这个登录档。
3./var/log/
在crontab中添加了定时任务,但发现没有得到期望的结果,因而怀疑是crontab没有执行相应的任务,但怎么定位crontab是否执行呢?
这就需要查看crontab的执行历史记录,具体位置如下:/var/log/
默认情况下,crontab中执行的日志写在/var/log/下,如:
#ls /var/log/cron*
/var/log/cron /var/log/cron-20221211 /var/log/cron-20221218 /var/log/cron-20221225 /var/log/cron-20230101
在cron文件中即可查阅已经操作过的相关定时任务。
日志是按照天排列的, /var/log/cron只会记录是否执行了某些计划的脚本,但是具体执行是否正确以及脚本执行过程中的一些信息则linux会每次都发邮件到该用户下。
# less /var/spool/mail/root
4. /etc/cron.d 目录
该目录下及子目录中所有符合调度语法的文件都会被执行
5.crontab命令的限制文件
/etc/cron.allow:将可以使用 crontab 的帐号写入其中,若不在这个文件内的使用者则不可使用 crontab;
/etc/cron.deny:将不可以使用 crontab 的帐号写入其中,若未记录到这个文件当中的使用者,就可以使用 crontab 。
以优先顺序来说, /etc/cron.allow 比 /etc/cron.deny 要优先, 而判断上面,这两个文件只选择一个来限制而已,因此,建议你只要保留一个即可, 免得影响自己在配置上面的判断!一般来说,系统默认是保留 /etc/cron.deny ,你可以将不想让他运行 crontab 的那个使用者写入 /etc/cron.deny 当中,一个帐号一行!
6.cron.daily/hourly/monthly/weekly 目录
里面都是脚本,分别在指定的时间里执行。
更多详细介绍,可以输入 man 5 crontab 或 man 8 cron 查阅。
五、常用的命令
1.安装crontab
yum install crontabs
2.crontab服务操作
/sbin/service crond start //启动crontab服务
service crond start //启动crontab服务
/sbin/service crond stop //关闭crontab服务
service crond stop //关闭crontab服务
/sbin/service crond restart //启动crontab服务
service crond restart //启动crontab服务
/sbin/service crond reload //重新载入配置
service crond status //查看crontab服务状态
3.查看定时任务列表
crontab –l
4.编辑定时任务列表
crontab –e
crontab -e 是针对使用者的 cron 来设计的,如果是『系统的例行性任务』,需要编辑 /etc/crontab 这个文件。
crontab -e 这个 crontab 其实是 /usr/bin/crontab 这个运行档,但 /etc/crontab 可是一个『纯文字档』,必须用 root 的身份编辑这个文件。
5.删除定时任务
crontab -r //删除定时任务
crontab –i //在删除用户的crontab文件时给确认提示
- 从/var/spool/cron目录中删除用户的crontab文件
- 如果不指定用户,则默认删除当前用户的crontab文件
6.备份crontab文件
crontab -l > $HOME/mycron
7.恢复丢失的crontab文件
- 如果不小心误删了crontab文件,假设你在自己的$HOME目录下还有一个备份,那么可以将其拷贝到/var/spool/cron/,其中是用户名。如果由于权限问题无法完成拷贝,可以用:
crontab ,其中是你在$HOME目录中副本的文件名。 - 有些crontab的变体有些怪异,所以在使用crontab命令时要格外小心。如果遗漏了任何选项,crontab可能会打开一个空文件,或者看起来像是个空文件。这时敲delete键退出,不要按,否则你将丢失crontab文件。
六、实例
每1分钟输出时间到文件
* * * * * echo `date` >> $HOME>date.txt
每隔2分钟同步一次互联网时间
echo "*/2 * * * * /usr/bin/ntpstat time.windows.com >/dev/null 2>&1" >> /var/spool/cron/root
每小时执行/etc/cron.hourly目录内的脚本
01 * * * * root run-parts /etc/cron.hourly
或
* */1 * * * root run-parts /etc/cron.hourly
每小时的第3和第15分钟输出时间到文件
3,15 * * * * echo `date` >> $HOME>date.txt
每晚的21:30重启smb
30 21 * * * /etc/init.d/smb restart
每天18 : 00至23 : 00之间每隔30分钟重启smb
0,30 18-23 * * * /etc/init.d/smb restart
每天上午8点到11点的第3和第15分钟输出时间到文件
3,15 8-11 * * * echo `date` >> $HOME>date.txt
每天3-5,17-20每隔30分钟执行一次脚本
echo "*/30 [3-5],[17-20] * * * /bin/sh /home/omc/h.sh >/dev/null 2>&1" >> /var/spool/cron/root
当天23点,第二天0点到凌晨7点 每隔1分钟执行一次脚本
* 23,00-07/1 * * * /bin/sh /home/omc.h.sh
或
* 23-7/1 * * * /bin/sh /home/omc.h.sh
每隔两天的上午8点到11点的第3和第15分钟输出时间到文件
3,15 8-11 */2 * * echo `date` >> $HOME>date.txt
每个星期一的上午8点到11点的第3和第15分钟输出时间到文件
3,15 8-11 * * 1 echo `date` >> $HOME>date.txt
每星期六的晚上11:00 pm重启smb
0 23 * * 6 /etc/init.d/smb restart
每周六、周日的1:10重启smb
10 1 * * 6,0 /etc/init.d/smb restart
1月1号的4点重启smb
0 4 1 jan * /etc/init.d/smb restart
每月1、10、22日的4 : 45重启smb
45 4 1,10,22 * * /etc/init.d/smb restart
每月的4号与每周一到周三的11点重启smb
0 11 4 * 1-3 /etc/init.d/smb restart
七、Crontab命令后台执行&
当在前台运行某个作业时,终端被该作业占据;而在后台运行作业时,它不会占据终端。可以使用&命令把作业放到后台执行。
如:
30 2 * * * /data/app/scripts/hotbackup/hot_database_backup.sh &
在后台运行作业时要当心:需要用户交互的命令不要放在后台执行,因为这样你的机器就会在那里傻等。
不过,作业在后台运行一样会将结果输出到屏幕上,干扰你的工作。如果放在后台运行的作业会产生大量的输出,最好使用下面的方法把它的输出重定向到某个文件中:
如:
command >out.file 2>&1 &
在这个例子中,2>&1表示所有的标准输出和错误输出都将被重定向到一个叫做out.file 的文件中。
Crontab命令 2>&1 含义
先看一个例子:
0 2 * * * /u01/test.sh >/dev/null 2>&1 &
这句话的意思就是在后台执行这条命令,并将错误输出2重定向到标准输出1,然后将标准输出1全部放到/dev/null 文件,也就是清空。
在这里有有几个数字的意思:
0表示 键盘输入
1表示 标准输出
2表示 错误输出
我们也可以这样写:
0 2 * * * /u01/test.sh 1>/u01/out.file &
0 2 * * * /u01/test.sh 2>/u01/out.file &
0 2 * * * /u01/test.sh 2>/u01/out.file 2>&1 &
将tesh.sh 命令输出重定向到out.file, 即输出内容不打印到屏幕上,而是输出到out.file文件中。
2>&1 是将错误输出重定向到标准输出。 然后将标准输入重定向到文件out.file。
&1 表示的是文件描述1,表示标准输出,如果这里少了&就成了数字1,就表示重定向到文件1。
& :后台执行
测试:
ls 2>1 : 不会报没有2文件的错误,但会输出一个空的文件1;
ls xxx 2>1: 没有xxx这个文件的错误输出到了1中;
ls xxx 2>&1: 不会生成1这个文件了,不过错误跑到标准输出了;
ls xxx >out.txt 2>&1 == ls xxx 1>out.txt 2>&1: 因为重定向符号>默认是1,这句就把错误输出和标准输出都传到out.txt 文件中。
Crontab命令 2>&1写在后面的原因
格式:command > file 2>&1 == command 1> file 2>&1
首先是command > file将标准输出重定向到file中, 2>&1 是标准错误拷贝了标准输出,也就是同样被重定向到file中,最终结果就是标准输出和错误都被重定向到file中。
如果改成: command 2>&1 >file
2>&1 标准错误拷贝了标准输出的行为,但此时标准输出还是在终端。>file 后输出才被重定向到file,但标准错误仍然保持在终端。
经验教训:
打算在服务器上 每天晚上23:00 定时执行Python脚本,去备份MySql数据库,命令如下:
* 23 * * * python /var/www/html/crontab_python/back_db.py >/dev/null 2>&1
结果呢,每次备份都产生了 60份 备份文件,仔细查看定时任务命令,发现在“分”的位置上,少加了个“0”,因为“*”表示该位置的任何一个值,修改如下:
0 23 * * * python /var/www/html/crontab_python/back_db.py >/dev/null 2>&1
然后是PHP脚本的定时执行
0 4 * * * /usr/local/php/bin/php /usr/local/nginx/www/backup-db/backup_db.php 172.16.8.26 >/dev/null 2>&1
0 4 * * * /usr/local/php/bin/php /usr/local/nginx/www/backup-db/backup_db.php 172.16.10.151 >/dev/null 2>&1
重定向命令
这里给出几个例子:
command > file 把标准输出重定向到文件
command >> file 把标准输出追加到文件
command 1 > file 把标准输出重定向到文件
command 2 > file 把标准错误重定向到文件
command 2 >> file 把标准输出追加到文件
command 2>&1 把command命令标准错误重定向到标准输出
command > file 2>&1 把标准输出和标准错误一起重定向到文件
command >> file 2>&1 把标准输出和标准错误一起追加到文件
command < file 把command命令以file文件作为标准输入
command < file >file2 把command命令以file文件作为标准输入,以file2文件作为标准输出
command <&- 关闭标准输入
八、crontab注意事项
1. 环境变量问题
有时我们创建了一个crontab,但是这个任务却无法自动执行,而手动执行这个任务却没有问题,这种情况一般是由于在crontab文件中没有配置环境变量引起的。
在crontab文件中定义多个调度任务时,需要特别注意的一个问题就是环境变量的设置,因为我们手动执行某个任务时,是在当前shell环境下进行的,程序当然能找到环境变量,而系统自动执行任务调度时,是不会加载任何环境变量的,因此,就需要在crontab文件中指定任务运行所需的所有环境变量,这样,系统执行任务调度时就没有问题了。
不要假定cron知道所需要的特殊环境,它其实并不知道。所以你要保证在shelll脚本中提供所有必要的路径和环境变量,除了一些自动设置的全局变量。所以注意如下3点:
1)脚本中涉及文件路径时写全局路径;
2)脚本执行要用到java或其他环境变量时,通过source命令引入环境变量,如:
cat start_cbp.sh
#!/bin/sh
source /etc/profile
export RUN_CONF=/home/d139/conf/platform/cbp/cbp_jboss.conf
/usr/local/jboss-4.0.5/bin/run.sh -c mev &
3)当手动执行脚本OK,但是crontab死活不执行时。这时必须大胆怀疑是环境变量惹的祸,并可以尝试在crontab中直接引入环境变量解决问题。如:
0 * * * * . /etc/profile;/bin/sh /var/www/java/audit_no_count/bin/restart_audit.sh
2. 注意清理系统用户的邮件日志
每条任务调度执行完毕,系统都会将任务输出信息通过电子邮件的形式发送给当前系统用户,这样日积月累,日志信息会非常大,可能会影响系统的正常运行,因此,将每条任务进行重定向处理非常重要。
例如,可以在crontab文件中设置如下形式,忽略日志输出:
0 */3 * * * /usr/local/apache2/apachectl restart >/dev/null 2>&1
“/dev/null 2>&1”表示先将标准输出重定向到/dev/null,然后将标准错误重定向到标准输出,由于标准输出已经重定向到了/dev/null,因此标准错误也会重定向到/dev/null,这样日志输出问题就解决了。
3. 系统级任务调度与用户级任务调度
系统级任务调度主要完成系统的一些维护操作,用户级任务调度主要完成用户自定义的一些任务,可以将用户级任务调度放到系统级任务调度来完成(不建议这么做),但是反过来却不行,root用户的任务调度操作可以通过“crontab –uroot –e”来设置,也可以将调度任务直接写入/etc/crontab文件,需要注意的是,如果要定义一个定时重启系统的任务,就必须将任务放到/etc/crontab文件,即使在root用户下创建一个定时重启系统的任务也是无效的。
4. 生产调试定时任务
- 增加执行任务的频率调试
- 调整系统时间调试任务,提前5分钟 -->不用于生产环境
- 通过脚本日志输出调试定时 任务
- 注意一些任务命令带来的问题 -->确保命令的正确性
5.其他注意事项
- 新创建的cron job,不会马上执行,至少要过2分钟才执行。如果重启cron则马上执行。
- 当crontab突然失效时,可以尝试/etc/init.d/crond restart解决问题。或者查看日志看某个job有没有执行/报错tail -f /var/log/cron。
- 千万别乱运行crontab -r。它从Crontab目录(/var/spool/cron)中删除用户的Crontab文件。删除了该用户的所有crontab都没了。
- 在crontab中%是有特殊含义的,表示换行的意思。如果要用的话必须进行转义%,如经常用的date ‘+%Y%m%d’在crontab里是不会执行的,应该换成date ‘+%Y%m%d’。
6.crontab箴言
- 环境变量问题,例如crontab不能识别Java的环境变量
crontab执行shell时,只能识别为数不多的环境变量,普通的环境变量是无法识别的,所以在编写shell时,最好使用export重新声明变量,确保脚本执行。 - 命令的执行最好用脚本
- 脚本权限加/bin/sh,规范路径/server/scripts
- 时间变量用反斜线转义,最好用脚本
- 定时任务添加注释
- >/dev/null 2>&1 ==>&>/dev/null,别随意打印日志文件
- 定时任务里面的程序脚本尽量用全路径
- 避免不必要的程序以及命令输出
- 定时任务之前添加注释
- 打包到文件目录的上一级
参考:
https://zhuanlan.zhihu.com/p/104505100
https://www.cnblogs.com/ftl1012/p/crontab.html
https://www.jb51.net/article/148575.htm
https://www.jb51.net/article/94229.htm
https://www.cnblogs.com/candlia/p/11920350.html