五马街的过客 发表于 2016-5-23 14:37:50

使用文本处理命令获取链接批量下载的方法教程



      前几天看到一个不错的方法，现在分享给大家，希望有帮助

      比如我看到Nmap的资源很想把他全部下载到本地怎么办呐？右键一个个点？用工具镜像整个站点？

      以前我用的方法是左边打开浏览器，右边打开Notepad++ 一个个链接拖到Notepad++里，最后就有了一个完整的下载列表

      现在有更好的方法，利用Linux的文本处理工具提取完整的下载链接，文本处理工具我很早就学过了，但是平常不用，学了就忘

      打开你要处理网站的页面**** Hidden Message *****右键保存网页

   

    用编辑器打开删除HTML文件顶部的代码和底部代码留下链接部分

   http://blog.iternull.com/pub/images/2015-06-13_01-0002.png

    使用文本处理命令剔除多余文本，留下完整链接

1awk '{print $7}' index-of.html | cut -d '"' -f2 > output.txt

1awk '{print $7}'         // 打印出第7列文本，按空格或者制表符(Tab)
    index-of.html            // 要处理的文件
    | cut -d '"' -f2         // 通过管道传递给 cut -d 指定分隔符为" -f2 指定输出地2列文本
    > output.txt         // 重定向标准输出到output.txt

http://blog.iternull.com/pub/images/2015-06-13_01-0003.png

然后就可以使用获取到的链接列表自动批量下载了

1 wget -i output.txt

估算了一下，使用这个方法给我节约了5倍的时间可以干其他事情

454983949 发表于 2016-5-23 20:24:54

感谢分享共同进步

xhlcy0322 发表于 2016-6-6 12:12:17

文本处理命令

yx100 发表于 2017-8-30 02:16:34

注册这么久都没升级，压力山大啊！

Ysion 发表于 2017-9-5 12:55:46

坚持回帖！

0000000 发表于 2017-9-5 22:25:44

信楼主，考试不挂科！
页: [1]
查看完整版本: 使用文本处理命令获取链接批量下载的方法教程