shell脚本分析日志

服务器

浏览数:113

2019-10-13

AD:资源代下载服务

需求

临时接到一个需求,需要帮忙check一下线上新老用户区分是否正确。
新老用户确认的方法:
老用户(注册4天以外), 新用户(注册4天以内)
也就是说,需要check日志中请求的时间点和注册的时间戳,相差是不是超过4天或者小于4天
日志大致如下:

2018-12-28/15:30:57 [strategy.go::xxxx.com/xxx/xxx/xxx.(*Strategy).FindStrategy] [INF] 222222222222222222:new_user_xxx_xxx_xxx, a97774397e994a4d, {"uid":"72666259","device_code":"A000007527957C","page":1,"count":3},1545982248

改掉了一些日志中的敏感信息

思路

  • 利用grep 筛选 new_user/old_user,并将这一行日志,重定向到新的文件中
  • 读取文件,分别提取前面的请求时间,并转化为时间戳,与这一行日志最后的时间戳对比

所以有了大致结构:

  • 1.利用grep awk 缩小日志
  • 2.> 将日志重定向到文本文件中
  • 3.利用while 循环读取文件
  • 4.字符串截取前面的时间,并转换为时间戳
  • 5.字符串截取最后的时间戳
  • 6.对比两个时间戳的间隔时间

脚本解析

按照上面的思路,最终脚本如下:

grep new_user /logs/engine_info.log |awk -F',' '{print $1,$3}'  >new_user.txt
sleep 1

while read line;
do
a=${line:0:19}
#注册时间戳
timestamp=${line:0-10}
#请求时间戳
actualtime=${a/\// }
time=`date -d "$actualtime" +%s`
a=$((timestamp+345600))
#[ $time -gt $a ];echo $?
if [ $time -gt $a ];
then 
echo "error"
echo $line
fi;
done <new_user.txt

第一行,结合grep和awk、重定向,将日志输出到new_user.txt中

读取文件

a=${line:0:19}

这边是截取前面19个字符,即

2018-12-28/15:30:57

由于这个格式无法转换为时间戳,所以还需要将中间的 / 替换为空格

actualtime=${a/\// }  ----结果 2018-12-28 15:30:57

然后转换为时间戳

date -d "$actualtime" +%s  ------结果 1545961368

注册时间戳是日志的最后10位,再次进行截取

timestamp=${line:0-10}  ----结果是1545982248

下面只对比二者之间的差距,以新用户为例,是期望注册时间是4天以内的,即时间戳相差 345600
期望请求的时间戳,比注册时间+345600 的结果要小,如果请求的时间戳比它大,那么就是错误的情况,最终逻辑如下:

a=$((timestamp+345600))
if [ $time -gt $a ];
then 
echo "error"
echo $line
fi;
done <new_user.txt

以上,所有为一次简单的日志分析实践。

作者:迈阿密小白