三亩地 三亩地SAN MU DI · CODE DIARY
交流投稿
ARTICLE DETAIL

日记详情

真实记录编程学习的某一天，欢迎挑你感兴趣的翻一翻。

首页/学习日记/日记详情

curl命令行工具：网络数据传输的瑞士军刀

发布时间：2026/8/9 7:10:20 三亩地 编程学习日记
curl命令行工具：网络数据传输的瑞士军刀

1. 什么是curl？

curl（Client URL）是一个开源的命令行工具和库，用于在服务器之间传输数据。它支持多种协议，包括HTTP、HTTPS、FTP、FTPS、SCP、SFTP、TFTP、LDAP、DICT、TELNET等。curl最初由瑞典程序员Daniel Stenberg于1997年创建，至今已成为开发者日常工作中不可或缺的工具之一。

我第一次接触curl是在调试一个API接口时，当时需要快速测试接口返回的数据格式。相比打开浏览器或使用Postman这样的GUI工具，curl的简洁高效让我印象深刻。它就像一把瑞士军刀，虽然看起来简单，但功能强大到令人惊讶。

curl最核心的价值在于它能够以极简的方式完成各种网络数据传输任务。无论是下载文件、测试API、调试网站，还是自动化脚本中的网络请求，curl都能胜任。它的跨平台特性也让人爱不释手 - 在Linux、macOS和Windows上都能完美运行。

提示：虽然curl常被用来发送HTTP请求，但它实际上支持数十种协议，这也是它比同类工具更强大的原因之一。

2. curl的核心功能解析

2.1 基础请求功能

curl最基本的用法就是发送HTTP请求。比如，要获取一个网页的内容，只需要：

curl https://example.com

这个简单的命令背后，curl完成了DNS解析、TCP连接建立、TLS握手（如果是HTTPS）、HTTP请求发送和响应接收等一系列复杂操作。默认情况下，curl会把服务器返回的内容直接输出到终端。

对于需要查看请求和响应头的场景，可以加上-i选项：

curl -i https://example.com

这样会显示完整的HTTP响应头信息，对于调试API非常有用。我曾经在一个项目中，需要确认服务器返回的Content-Type是否正确，这个选项帮我快速定位了问题。

2.2 高级请求控制

curl提供了丰富的选项来控制请求的各个方面。以下是一些常用的高级功能：

  • 指定请求方法：-X POST、-X PUT等
  • 发送表单数据：-d "name=value"
  • 上传文件：-F "file=@filename"
  • 设置请求头：-H "Content-Type: application/json"
  • 处理Cookie：-b "name=value"和-c cookie-file

一个典型的POST请求示例：

curl -X POST \ -H "Content-Type: application/json" \ -d '{"username":"test","password":"123456"}' \ https://api.example.com/login

在实际工作中，我经常用这种方式测试后端API。相比使用Postman等GUI工具，curl命令可以轻松保存到脚本中，方便重复使用和自动化。

2.3 下载功能

curl最初就是作为一个下载工具开发的。它支持断点续传、限速下载、显示进度条等高级下载功能。

# 下载文件并显示进度 curl -O https://example.com/file.zip # 断点续传 curl -C - -O https://example.com/bigfile.zip # 限速下载（限制为100KB/s） curl --limit-rate 100K -O https://example.com/largefile.iso

我曾经用curl下载过一个10GB的数据库备份文件，网络不稳定导致多次中断。多亏了断点续传功能，才没有重新开始下载。

3. curl的进阶用法

3.1 处理认证

很多API和网站需要认证才能访问。curl支持多种认证方式：

# 基本认证 curl -u username:password https://example.com # Bearer Token认证 curl -H "Authorization: Bearer your_token" https://api.example.com # OAuth 2.0 curl -H "Authorization: Bearer $ACCESS_TOKEN" https://api.example.com/resource

在处理OAuth 2.0流程时，我通常会先用curl获取access token，然后再用这个token访问受保护的资源。这种方式比在代码中调试要快得多。

3.2 处理HTTPS和证书

对于HTTPS请求，curl默认会验证服务器证书。这在开发环境中有时会带来不便：

# 跳过证书验证（仅用于测试环境！） curl -k https://example.com # 指定CA证书路径 curl --cacert /path/to/ca-bundle.crt https://example.com

警告：在生产环境中使用-k选项跳过证书验证是非常危险的，这可能导致中间人攻击。仅在开发和测试环境中使用。

3.3 输出处理

curl默认将响应体输出到stdout，但我们可以控制输出：

# 将输出保存到文件 curl -o output.html https://example.com # 只显示HTTP状态码 curl -s -o /dev/null -w "%{http_code}" https://example.com # 格式化JSON输出（需要jq工具） curl https://api.example.com/data | jq .

在处理JSON API时，我经常结合jq工具来格式化输出。比如：

curl -s https://api.example.com/users | jq '.[] | select(.age > 30)'

这个命令会获取用户列表，然后筛选出年龄大于30的用户。

4. curl在实际工作中的应用场景

4.1 API测试与调试

curl是API开发和测试的利器。我每天都会用它来：

  • 快速检查API端点是否可达
  • 验证请求和响应格式
  • 测试错误处理逻辑
  • 检查认证和授权机制

例如，测试一个需要JWT认证的API：

# 首先获取token TOKEN=$(curl -s -X POST \ -H "Content-Type: application/json" \ -d '{"username":"test","password":"test"}' \ https://api.example.com/login | jq -r .token) # 然后使用token访问受保护资源 curl -H "Authorization: Bearer $TOKEN" https://api.example.com/protected

4.2 网站监控

curl可以轻松集成到监控脚本中，检查网站是否在线：

#!/bin/bash response=$(curl -s -o /dev/null -w "%{http_code}" https://example.com) if [ "$response" != "200" ]; then echo "网站不可达！HTTP状态码：$response" | mail -s "网站监控警报" admin@example.com fi

我曾经用类似的脚本监控了十几个关键页面，当有任何页面返回非200状态码时，就会收到邮件通知。

4.3 自动化任务

curl可以与其他命令行工具结合，实现强大的自动化功能。比如，定期备份网站：

#!/bin/bash DATE=$(date +%Y%m%d) curl -o backup-$DATE.sql.gz https://example.com/backup.php

这个简单的脚本可以保存每天的备份文件，并按日期命名。

5. curl的高级技巧与陷阱

5.1 性能优化

对于大量请求，curl有一些性能优化选项：

# 保持连接（HTTP keep-alive） curl --keepalive-time 60 https://example.com # 并行下载多个文件 curl -Z -O https://example.com/file1.zip -O https://example.com/file2.zip # 限制带宽使用 curl --limit-rate 200K https://example.com/largefile.iso

在处理大文件下载时，--limit-rate选项非常有用，可以避免占用全部带宽影响其他服务。

5.2 常见问题排查

使用curl时可能会遇到各种问题，以下是一些常见情况：

  1. 连接超时：

    # 增加超时时间 curl --connect-timeout 30 https://example.com

  2. SSL证书问题：

    # 显示详细的SSL信息 curl -v --ssl https://example.com

  3. 重定向问题：

    # 禁止重定向 curl -L https://example.com # 跟随重定向 curl --max-redirs 5 https://example.com # 限制重定向次数

  4. 编码问题：

    # 指定编码 curl -H "Accept-Charset: utf-8" https://example.com

5.3 安全注意事项

虽然curl很强大，但使用时也需要注意安全：

  1. 不要在命令行中直接使用敏感信息：

    # 不安全 curl -u username:password https://example.com # 更安全的方式 curl -u username https://example.com # 会提示输入密码

  2. 小心处理下载的文件：

    # 先检查文件内容再处理 curl https://example.com/script.sh | less

  3. 验证HTTPS证书：

    # 生产环境不要使用-k选项 curl https://example.com # 默认验证证书

6. curl与其他工具的结合

6.1 与jq处理JSON

jq是一个强大的JSON处理工具，与curl配合使用可以轻松处理API响应：

# 获取GitHub用户信息并提取特定字段 curl -s https://api.github.com/users/octocat | jq '.login, .id, .created_at' # 处理JSON数组 curl -s https://api.example.com/users | jq '.[] | select(.age > 30) | .name'

6.2 与grep/sed/awk结合

curl的输出可以通过管道传递给其他Unix工具进行进一步处理：

# 查找网页中的所有链接 curl -s https://example.com | grep -o 'href="[^"]*"' | sed 's/href="//;s/"//g' # 统计网页中某个单词出现的次数 curl -s https://example.com | grep -o "word" | wc -l

6.3 在脚本中使用

curl非常适合在shell脚本中使用：

#!/bin/bash # 检查服务状态 check_service() { local url=$1 local status=$(curl -s -o /dev/null -w "%{http_code}" "$url") if [ "$status" -eq 200 ]; then echo "服务正常" return 0 else echo "服务异常，状态码：$status" return 1 fi } check_service "https://example.com/health"

7. curl的替代方案

虽然curl非常强大，但有些场景下可能需要其他工具：

  1. httpie：更现代的HTTP客户端，具有更友好的界面和语法

    http GET https://api.example.com/users

  2. wget：更适合批量下载文件，支持递归下载

    wget -r https://example.com

  3. Postman/Insomnia：GUI工具，适合复杂的API开发和测试

不过，curl仍然是命令行环境下最通用、最灵活的工具，特别是在脚本和自动化任务中。

8. curl的最佳实践

根据多年使用经验，我总结了以下curl最佳实践：

  1. 总是验证HTTPS证书：除非在受控的测试环境，否则不要使用-k选项

  2. 处理敏感信息要小心：不要在命令行历史中留下密码或token

  3. 使用适当的超时设置：避免脚本因网络问题而挂起

    curl --max-time 30 https://example.com

  4. 记录和调试：使用-v选项调试复杂的请求

    curl -v https://api.example.com/resource

  5. 考虑使用配置文件：对于复杂的常用命令，可以保存到~/.curlrc

    # ~/.curlrc user-agent = "My Custom User Agent" connect-timeout = 10

  6. 尊重API使用限制：不要用curl发送过多请求，可能导致IP被封

  7. 处理压缩内容：自动解压服务器返回的压缩内容

    curl --compressed https://example.com

curl的强大之处在于它的灵活性和可组合性。掌握curl不仅能提高日常工作效率，还能在关键时刻快速解决问题。从简单的网页检查到复杂的API测试，curl都能胜任。

编程学习 学习日记 实战经验
← 返回列表