1. Linux CGroups 资源控制实战概述

在Linux系统中，资源管理一直是个核心课题。记得我第一次在生产环境遇到资源争用问题时，整台服务器的CPU被某个跑偏的进程吃满，导致关键服务不可用。那时候只能简单粗暴地用kill解决问题，直到发现了CGroups这个神器。

CGroups（Control Groups）是Linux内核提供的一种机制，它允许你将进程分组，并对这些组进行资源限制和监控。与传统的nice命令只能调整优先级不同，CGroups能实现真正的资源硬限制。我在容器化改造项目中深刻体会到，没有CGroups的Linux就像没有刹车的汽车 - 跑得快但随时可能失控。

2. CGroups核心概念解析

2.1 子系统（Subsystems）

CGroups通过子系统来实现对不同资源的控制。常见的子系统包括：

• cpu：限制CPU时间分配
• cpuacct：自动生成CPU资源使用报告
• cpuset：分配独立的CPU和内存节点
• memory：限制内存使用量
• blkio：限制块设备I/O
• devices：控制设备访问权限

我在处理一个数据库性能问题时，就同时用到了cpu和memory子系统。那个Java应用总是OOM，通过memory子系统限制最大内存后，问题立刻显现出来 - 原来是缓存策略有问题。

2.2 层级结构（Hierarchy）

CGroups采用树形层级结构管理控制组。每个层级可以附加一个或多个子系统。这个设计特别巧妙：

1. 根节点定义全局资源限制
2. 子节点继承父节点限制并可追加新规则
3. 不同层级可以管理不同资源

实际应用中，我通常按服务类型建立层级。比如：

/sys/fs/cgroup/ ├── web_services │ ├── nginx │ └── apache └── db_services ├── mysql └── redis

2.3 控制组（Control Group）

控制组是资源限制的基本单位。每个控制组包含：

• tasks：属于该组的进程列表
• 子系统特定文件：如cpu.share、memory.limit_in_bytes等

一个进程可以属于多个控制组，只要这些组在不同层级中。这让我想到上周的案例：一个AI训练进程既要限制CPU使用率，又要保证GPU优先级，就是通过分别加入cpu和devices控制组实现的。

3. CPU资源控制实战

3.1 CPU份额分配

在/sys/fs/cgroup/cpu目录下创建控制组：

mkdir /sys/fs/cgroup/cpu/webapp echo 512 > /sys/fs/cgroup/cpu/webapp/cpu.shares

这里的512表示相对权重。如果系统有两个控制组分别设置512和1024，当CPU繁忙时，后者将获得前者两倍的CPU时间。

我在生产环境的一个典型配置：

# 关键服务获得双倍CPU资源 echo 1024 > /sys/fs/cgroup/cpu/critical/cpu.shares # 普通服务 echo 512 > /sys/fs/cgroup/cpu/normal/cpu.shares # 后台任务 echo 256 > /sys/fs/cgroup/cpu/background/cpu.shares

3.2 CPU硬限制

对于需要严格限制CPU使用的场景（比如防止测试环境占用太多资源），可以使用CFS调度器参数：

# 限制最多使用1个CPU核心的50% echo 100000 > /sys/fs/cgroup/cpu/webapp/cpu.cfs_period_us echo 50000 > /sys/fs/cgroup/cpu/webapp/cpu.cfs_quota_us

参数说明：

• cfs_period_us：统计周期（微秒），通常100ms
• cfs_quota_us：在周期内最多使用的CPU时间

我曾经用这个特性成功限制了一个失控的Spark任务，使其不会影响同服务器的其他服务。

3.3 CPU绑定

对于NUMA架构服务器，使用cpuset子系统可以优化性能：

mkdir /sys/fs/cgroup/cpuset/db echo 2-3 > /sys/fs/cgroup/cpuset/db/cpuset.cpus echo 1 > /sys/fs/cgroup/cpuset/db/cpuset.mems

这会将数据库进程绑定到2-3号CPU核心和1号内存节点，减少跨节点访问带来的性能损耗。

4. 内存资源控制实战

4.1 内存限制

设置内存硬限制：

mkdir /sys/fs/cgroup/memory/app echo 2G > /sys/fs/cgroup/memory/app/memory.limit_in_bytes

重要提示：当进程尝试分配超过限制的内存时，默认会触发OOM Killer。可以通过设置memory.oom_control来改变行为：

echo 1 > /sys/fs/cgroup/memory/app/memory.oom_control

4.2 内存+Swap限制

要限制Swap使用，需要设置：

echo 3G > /sys/fs/cgroup/memory/app/memory.memsw.limit_in_bytes

注意：memsw.limit_in_bytes必须 ≥ limit_in_bytes

4.3 内存监控

查看内存使用情况：

cat /sys/fs/cgroup/memory/app/memory.usage_in_bytes cat /sys/fs/cgroup/memory/app/memory.stat

memory.stat包含详细统计：

• cache：页缓存
• rss：匿名内存
• swap：Swap使用量

5. 高级应用技巧

5.1 进程迁移

将运行中的进程加入控制组：

echo $PID > /sys/fs/cgroup/cpu/webapp/tasks

批量迁移：

ps -ef | grep nginx | awk '{print $2}' | xargs -I{} echo {} > /sys/fs/cgroup/cpu/webapp/tasks

5.2 临时限制

有时需要对临时命令进行资源限制：

cgexec -g cpu,memory:limited_group ./memory_hungry_script.sh

5.3 系统服务集成

在systemd服务文件中添加：

[Service] CPUQuota=50% MemoryLimit=1G

这实际上也是通过CGroups实现的。

6. 常见问题排查

6.1 限制不生效检查清单

1. 确认子系统已挂载
2. 检查进程是否在tasks文件中
3. 确认没有父控制组的限制更严格
4. 对于内存限制，确认已禁用swap或设置了memsw限制

6.2 性能问题诊断

如果发现进程变慢：

# 检查CPU限制 cat /sys/fs/cgroup/cpu/your_group/cpu.stat # 检查内存限制 cat /sys/fs/cgroup/memory/your_group/memory.failcnt

6.3 容器环境特殊处理

在Docker中，CGroups路径有所不同：

# 查看容器限制 cat /sys/fs/cgroup/memory/docker/<container_id>/memory.limit_in_bytes

7. 生产环境最佳实践

经过多年实践，我总结出以下经验：

1. 层级设计原则

   • 按业务重要性划分顶层控制组
   • 同业务按服务类型划分子组
   • 避免过深的层级结构

2. 参数设置建议

   # 关键业务保留20%资源余量 echo 80000 > /sys/fs/cgroup/cpu/critical/cpu.cfs_quota_us # 内存限制设置监控告警 alert_threshold=$(( $(cat memory.limit_in_bytes) * 90 / 100 ))

3. 监控集成方案

   • 通过memory.stat和cpuacct.stat收集数据
   • 对接Prometheus等监控系统
   • 设置基于CGroups的告警规则

4. 安全注意事项

   • 限制关键子系统（如devices）的访问权限
   • 定期审计控制组配置
   • 避免在根控制组设置过于严格的限制

8. 性能调优案例

去年我们有个Java应用频繁GC，通过以下CGroups配置解决了问题：

1. 限制堆内存：

echo 4G > /sys/fs/cgroup/memory/app/memory.limit_in_bytes

2. 限制直接内存：

echo 6G > /sys/fs/cgroup/memory/app/memory.kmem.limit_in_bytes

3. 保证CPU资源：

echo 1024 > /sys/fs/cgroup/cpu/app/cpu.shares

这个配置强制JVM在限制范围内优化内存使用，GC频率下降了70%。

9. 工具链推荐

1. 命令行工具

   • cgcreate/cgset：创建和配置控制组
   • cgexec：在指定控制组运行命令
   • systemd-cgtop：类似top的CGroups监控

2. 可视化工具

   • cAdvisor：容器监控
   • Grafana+Prometheus：指标展示

3. 配置管理

   • /etc/cgconfig.conf：系统级配置
   • libcgroup-tools：提供管理工具集

10. 内核参数调优

对于高负载环境，可能需要调整：

# 防止cgroup引起内核锁竞争 sysctl -w kernel.cgroup.memory=nosocket # 提高内存回收阈值 echo 10 > /sys/fs/cgroup/memory/app/memory.swappiness

这些参数需要根据实际负载测试确定最佳值。