使用Wget遍历下载整站

21 Apr, 2013

遇到一个资料站点，比如https://wd.hides.su/fox_exe/WDMyCloud-Gen2/，可以通过wget命令来将整个站点进行下载保存。

命令实例:

    $wget -r -p -np -k -e robots=off -U "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6" "https://wd.hides.su/fox_exe/WDMyCloud-Gen2/"

参数解释:

r,–recursive 递归下载
p, –page-requisites 下载显示HTML文件的所有图片
np, –no-parent 不要追溯到父目录
k, –convert-links 转换非相对链接为相对链接
e,–execute=COMMAND 执行一个 “.wgetrc”命令
robots=off 无视robots.txt
U, –user-agent=AGENT 设定伪装agent，模拟浏览器行为 “Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6”