牛皮兔

标题: 使用文本处理命令获取链接批量下载的方法教程 [打印本页]

作者: 五马街的过客 时间: 2016-5-23 14:37
标题: 使用文本处理命令获取链接批量下载的方法教程

   前几天看到一个不错的方法，现在分享给大家，希望有帮助

   比如我看到Nmap的资源很想把他全部下载到本地怎么办呐？右键一个个点？用工具镜像整个站点？

   以前我用的方法是左边打开浏览器，右边打开Notepad++ 一个个链接拖到Notepad++里，最后就有了一个完整的下载列表

   现在有更好的方法，利用Linux的文本处理工具提取完整的下载链接，文本处理工具我很早就学过了，但是平常不用，学了就忘

   打开你要处理网站的页面右键保存网页

10.png (57.66 KB, 下载次数: 57)

下载附件

2016-5-23 14:37 上传

用编辑器打开删除HTML文件顶部的代码和底部代码留下链接部分

使用文本处理命令剔除多余文本，留下完整链接

  1  awk '{print $7}' index-of.html | cut -d '"' -f2 > output.txt

1  awk '{print $7}'          // 打印出第7列文本，按空格或者制表符(Tab)
index-of.html             // 要处理的文件
| cut -d '"' -f2          // 通过管道传递给 cut -d 指定分隔符为" -f2 指定输出地2列文本
> output.txt          // 重定向标准输出到output.txt



然后就可以使用获取到的链接列表自动批量下载了

1 wget -i output.txt

估算了一下，使用这个方法给我节约了5倍的时间可以干其他事情

作者: 454983949 时间: 2016-5-23 20:24
感谢分享共同进步

作者: xhlcy0322 时间: 2016-6-6 12:12
文本处理命令

作者: yx100 时间: 2017-8-30 02:16
注册这么久都没升级，压力山大啊！

作者: Ysion 时间: 2017-9-5 12:55
坚持回帖！

作者: 0000000 时间: 2017-9-5 22:25
信楼主，考试不挂科！

欢迎光临牛皮兔 (http://niupitu.com/)