标题:curl用法示例 出处:沧海一粟 时间:Mon, 07 Mar 2011 00:09:05 +0000 作者:jed 地址:http://www.dzhope.com/post/761/ 内容: curl是一个利用URL语法在命令行方式下工作的文件传输工具。它支持很多协议:FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE 以及 LDAP。curl同样支持HTTPS认证,HTTP POST方法, HTTP PUT方法, FTP上传, kerberos认证, HTTP上传, 代理服务器, cookies, 用户名/密码认证, 下载文件断点续传, 上载文件断点续传, http代理服务器管道( proxy tunneling), 甚至它还支持IPv6, socks5代理服务器, 通过http代理服务器上传文件到FTP服务器等等,功能十分强大。Windows操作系统下的网络蚂蚁,网际快车(FlashGet)的功能它都可以做 到。准确的说,curl支持文件的上传和下载,所以是一个综合传输工具,但是按照传统,用户习惯称curl为下载工具。 curl用法示例(网络转载) 1) curl http://www.yahoo.com 回车之后,www.yahoo.com 的html就稀里哗啦地显示在屏幕上了~~~~~ 2) 用curl的内置option,存下http的结果,用这个option: -o curl -o page.html http://www.yahoo.com 可以看到屏幕上出现一个下载页面进度指示。等进展到100%,自然就OK咯 3) 使用curl的时候,用这个option可以指定http访问所使用的proxy服务器及其端口: -x curl -x 123.45.67.89:1080 -o page.html http://www.yahoo.com 4) 访问有些网站的时候使用cookie来记录session信息。 像IE/NN这样的浏览器,当然可以轻易处理cookie信息.. option: -D 下载后: 001-zzh.JPG 原来: ~nick/001.JPG —> 下载后: 001-nick.JPG 这样一来,就不怕文件重名啦. 10) 继续讲下载 我们平时在windows平台上,flashget这样的工具可以帮我们分块并行下载,还可以断线续传。 curl在这些方面也不输给谁. 比如我们下载screen1.JPG中,突然掉线了,我们就可以这样开始续传 curl -c -O http://cgi2.tky.3wb.ne.jp/~zzh/screen1.JPG 当然,你不要拿个flashget下载了一半的文件来糊弄我~~~~别的下载软件的半截文件可不一定能用哦~~~ 分块下载,我们使用这个option就可以了: -r 举例说明 比如我们有一个http://cgi2.tky.3web.ne.jp/~zzh/zhao1.mp3 要下载(赵老师的电话朗诵) 我们就可以用这样的命令: curl -r 0-10240 -o "zhao.part1" http:/cgi2.tky.3web.ne.jp/~zzh/zhao1.mp3 &\ curl -r 10241-20480 -o "zhao.part1" http:/cgi2.tky.3web.ne.jp/~zzh/zhao1.mp3 &\ curl -r 20481-40960 -o "zhao.part1" http:/cgi2.tky.3web.ne.jp/~zzh/zhao1.mp3 &\ curl -r 40961- -o "zhao.part1" http:/cgi2.tky.3web.ne.jp/~zzh/zhao1.mp3 这样就可以分块下载啦。 不过你需要自己把这些破碎的文件合并起来 如果你用UNIX或苹果,用 cat zhao.part* > zhao.mp3就可以 如果用的是Windows,用copy /b 来解决吧,呵呵 上面讲的都是http协议的下载,其实ftp也一样可以用。 curl -u name:passwd ftp://ip:port/path/file 或者大家熟悉的 curl ftp://name:passwd@ip:port/path/file 11) 说完了下载,接下来自然该讲上传咯 上传的option是 -T 比如我们向ftp传一个文件: curl -T localfile -u name:passwd ftp://upload_site:port/path/ 当然,向http服务器上传文件也可以 比如 curl -T localfile http://cgi2.tky.3web.ne.jp/~zzh/abc.cgi 注意,这时候,使用的协议是HTTP的PUT method 刚才说到PUT,嘿嘿,自然让老服想起来了其他几种methos还没讲呢! GET和POST都不能忘哦。 http提交一个表单,比较常用的是POST模式和GET模式 GET模式什么option都不用,只需要把变量写在url里面就可以了 比如: curl http://www.yahoo.com/login.cgi?user=nickwolfe&password=12345 而POST模式的option则是 -d 比如,curl -d "user=nickwolfe&password=12345" http://www.yahoo.com/login.cgi 就相当于向这个站点发出一次登陆申请~~~~~ 到底该用GET模式还是POST模式,要看对面服务器的程序设定。 一点需要注意的是,POST模式下的文件上的文件上传,比如
这样一个HTTP表单,我们要用curl进行模拟,就该是这样的语法: curl -F upload=@localfile -F nick=go http://cgi2.tky.3web.ne.jp/~zzh/up_file.cgi curl还有很多很多技巧和用法 比如 https的时候使用本地证书,就可以这样 curl -E localcert.pem https://remote_server 再比如,你还可以用curl通过dict协议去查字典~~~~~ curl dict://dict.org/d:computer curl 实际上是一个文件下载器,可以用curl去构造各种各样的http请求,在linux环境下获取各种资源。 -x 指定访问IP与端口号 例:curl -x 192.168.1.1:80 image.qq.com/logo.gif 指定IP为192.168.1.1端口号为80来取imge.qq.com/logo.gif文件 -I 仅仅取文件的http头部,输入此参数,curl会构造一个head请求来请求数据 -b "cookie" 此参数用来构造一个携带cookie的请求,主要用于一些网站使用cookie做验证的文件!例如获取登陆后的一些设置了权限的文件! 如果一个网站设置了防盗链,我是指一般的防盗链,用referer做的防盗链,就可以使用-e来设置 点击在新窗口中浏览此图片 http://www.dzhope.com/attachment.php?fid=50 这样太麻烦了,实际上,可以用-H去构造你想要的http头部! 点击在新窗口中浏览此图片 http://www.dzhope.com/attachment.php?fid=51 但是有些东西是构造了也没用的,比如说keepalive、gzip、http版本号等等,这些的构造就需要一些特殊命令 例如:构造http1.0的请求头部就使用 -0 即可,默认使用http1.1,使用接受压缩数据则用 --compressed 设定keepalive超时连接时间用 curl --connect-timeout 1和100去测试下www.cnn.com 可以感受到超时的快感。 curl 还有一个非常有用的功能就是反馈时间,连接时间、下载时间 curl -w %{time_connect}:%{time_starttransfer}:%{time_total} -s -o /dev/null 这条命令可以输出连接时间、传输时间、总时间 curl里还有很多时间变量可以引用,time_namelookup time_pretransfer time_starttransfer 等等 Generated by Bo-blog 2.1.1 Release