工作

用shell的方式爬取web前台页面的内容

微信扫一扫,分享到朋友圈

用shell的方式爬取web前台页面的内容
收藏 0 0

系统前台页面中显示的配置数据,需要汇总统计,但是没有找到该数据是记录在哪个数据库表了,怎样才能根据前台页面访问(多个URL规则页面),不通过数据库查询的方式来获取这些数据?

用shell的方式来爬一下这些数据吧

梳理一下我要访问的这些页面URL类型:

http://192.168.1.1:8080/aaa/xxx/xxx.jsp?Name=规则变量

不同的页面区别就是不同的name,我可以找到我要的所有页面name,那么把这些name放到aaa.txt中。

shell脚本放在aaa.sh文件中,如下:

#!/bin/bash

>aaa.log

while read line
do
        ip=`echo $line|awk '{print $1}'`
        mo=`echo $line|awk '{print $2}'`
        port=`curl -s "http://192.168.1.1:8080/aaa/xxx/xxx.jsp?Name=$mo"|grep "sport"|grep "text"|awk -F 'value="' '{print $2}'|awk -F '"' '{print $1}'`
        echo "$ip" "$port" >> aaa.log
done < $1

按照脚本的规则,就得到了我要的信息。

输出在了aaa.log文件中。

还没想好怎么写个人说明,见谅。

用SQL语句查询数据库中带有某个字段的所有表名

上一篇

sql:字段汇聚(特殊列转行),Oracle wm_concat()函数

下一篇

你也可能喜欢

发表评论

您的电子邮件地址不会被公开。 必填项已用 * 标注

提示:点击验证后方可评论!

插入图片

类别小工具