August 13, 2017

sitemap-generators使用实例

sitemap-generators是一款Sitemap生成工具,使用它可以生成符合sitemap.org规范的Sitemap文件,以便于提交给各个网站工具平台。 项目地址 && 下载地址 下载sitemap_gen_1.5.tar.gz解压,得到以下内容: root@bwgzl:~/sitemap_gen# ls -lh total 140K -r--r----- 1 502 502 22 Jun 17 2005 AUTHORS -r--r--r-- 1 502 502 2.6K Jul 19 2007 ChangeLog -r--r----- 1 502 502 1.8K Jun 17 2005 COPYING -rw-r--r-- 1 502 502 6.4K Jul 19 2007 example_config.xml -rw-r----- 1 502 502 1.6K Jun 26 2007 example_urllist.txt drwxr-xr-x 23 root root 4.0K Aug 3 14:25 getos.org -rw-r--r-- 1 502 502 244 Jul 19 2007 PKG-INFO -r--r--r-- 1 502 502 1. Read more

April 21, 2013

使用wget下载整站

命令实例: $wget -r -p -np -k -e robots=off -U "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6" "http://baidu.com" 参数解释: -r,--recursive 递归下载 -p, --page-requisites 下载显示HTML文件的所有图片 -np, --no-parent 不要追溯到父目录 -k, --convert-links 转换非相对链接为相对链接 -e,–execute=COMMAND 执行一个 “.wgetrc”命令 robots=off 无视robots.txt -U, --user-agent=AGENT 设定代理的名称为 AGENT "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6" 伪装agent

© unixetc.com 2012 - 2019
README