Docker Cgroups资源控制管理
cgroups简介
cgroups,是一个非常强大的linux内核工具,他不仅可以限制被namespace 隔离起来的资源,还可以 为资源设置权重、计算使用量、操控进程启停等等。所以cgroups (Control groups) 实现了对资源的配额和度量。
cgroups有四大功能
资源限制:可以对任务使用的资源总额进行限制。
优先级分配:通过分配的cpu时间片数量以及磁盘IO带宽大小,实际上相当于控制了任务运行优先级。
资源统计:可以统计系统的资源使用量,如cpu时长,内存用量等。
任务控制: cgroup可以对任务 执行挂起、恢复等操作。
Docker 通过cgroup 来控制容器使用的资源配额,包括CPU、内存、磁盘三大方面,基本覆盖了常见的资源配额和使用量控制。
cpu时间片的概念
时间片即CPU分配给各个程序的时间,每个线程被分配一个时间段,称作它的时间片,即该进程允许运行的时间,使各个程序从表面上看是同时进行的。如果在时间片结束时进程还在运行,则CPU将被剥夺并分配给另一个进程。如果进程在时间片结束前阻塞或结束,则CPU当即进行切换。而不会造成CPU资源浪费。
在宏观上:我们可以同时打开多个应用程序,每个程序并行不悖,同时运行。但在微观上:由于只有一个CPU,一次只能处理程序要求的一部分,如何处理公平,一种方法就是引入时间片,每个程序轮流执行。
对CPU使用的限制
CPU在处理进程的时候实际上是在一个周期内,给这个进程分配的时间,让时间分片再让CPU进行处理
CPU时间默认为100ms
如果此时只想单独让进程一单独享受CPU 50%的速度,那么就要分配给进程一50ms的时间,另外两个可以平均分配剩下的50%的调度周期即50ms的时间,也可以自定义进程二使用40%,那么进程3就只能使用10%,三个进程的时间周期,加在一起必须是100ms,如果设定超过了100ms,CPU在满负荷运行的状态下,可能会出现进程卡死,甚至宕机。
如果不想使用默认的时间,可以自己设置,但是三个进程的周期时间加在一起也必须是我们设定的时间范围。
在特殊的一些场景是可以超负荷运行CPU的,但是不可能让一直超负荷运行,所以还是要在范围值内合理分配进程的使用率。
设置CPU使用率上限
Linux通过CFS (Completely Fair Scheduler, 完全公平调度器)来调度各个进程对CPU的使用。CFS默认的调度周期是100ms。
我们可以设置每个容器进程的调度周期,以及在这个周期内各个容器最多能使用多少CPU时间。
使用 --cpu-period 即可设置调度周期,使用 --cpu-quota 即可设置在每个周期内容器能使用的CPU时间。两者可以配合使用。
CFS周期的有效范围是1ms ~ 1s, 对应的 --cpu-period 的数值范围是 1000 ~1000000 (单位微秒)。
而容器的CPU配额必须不小于1ms,即 --cpu-quota 的值必须 >= 1000。
查看容器的默认CPU使用限制
cpu.cfs_period_us:分配的周期(微秒,所以文件名中用u),默认为100000。
cpu.cfs_quota_us:表示该cgroups限制占用的时间(微秒),默认为-1,表示不限制。
cpu.cfs_quota_us 如果设为50000,表示占用 50000/100000=50%的CPU。
如果说现在有5个容器正在同时运行,此时有一台容器没有做CPU的限制,此时这台没有做限制的容器突然出现了bug,使CPU的使用率达到了顶峰,但是别的容器也在同时在运行,这样就会是的CPU超负荷运作,会使得机器宕机。这样别的容器业务也会停止。
进行压力测试
创建容器时设置CPU使用时间限制
登录容器test2,写个死循环脚本并运行
容器的CPU使用时间限制设为50000,而调度周期为100000,表示容器占用50000/100000=50%的CPU。
对已存在的容器进行CPU限制
直接修改 /sys/fs/cgroup/cpu/docker/容器id/cpu.cfs_quota_us
文件
再进入test1容器执行之前创建好的脚本,进行压力测试
容器的CPU使用时间限制设为25000,而调度周期为100000,表示容器占用25000/100000=25%的CPU。
设置CPU资源占用比(设置多个容器时才有效)
Docker 通过 --cpu-shares 指定CPU份额,默认值为1024,值为1024的倍数。
创建两个容器,设置CPU资源占用比
分别进入两个容器,进行压力测试
进入c1容器,进行压力测试
进入c2容器,进行压力测试
查看容器运行状态,观察CPU使用占比
可以看到在 CPU 进行时间片分配的时候,容器 c2比容器c1多一倍的机会获得 CPU 的时间片。
但分配的结果取决于当时主机和其他容器的运行状态,实际上也无法保证容器c1一定能获得 CPU 时间片 比如容器a1的进程一直是空闲的,那么容器c2 是可以获取比容器c1更多的 CPU 时间片的。极端情况下,例如主机上只运行了一个容器,即使它的 CPU 份额只有 50,它也可以独占整个主机的 CPU 资源。
Cgroups 只在容器分配的资源紧缺时,即在需要对容器使用的资源进行限制时,才会生效。因此,无法单纯根据某个容器的 CPU 份额来确定有多少CPU 资源分配给它,资源分配结果取决于同时运行的其他容器的 CPU 分配和容器中进程运行情况。
设置容器绑定指定的CPU(绑核)
注意:CPU编号从0开始。
例如:编号1、3代表第二个核和第四个核 。
实际操作
进入容器,进行压力测试
执行top命令再按1查看CPU使用情况
对内存使用的限制
限制容器可以使用的最大内存
-m (或--memory=)选项用于限制容器可以使用的最大内存
限制容器可用的swap 大小
限制可用的swap 大小,--memory-swap
--memory-swap是必须要与 --memory(或-m)一起使用的。
正常情况下, --memory-swap 的值包含容器可用内存和可用swap 。
所以 -m 300m --memory-swap=1g 的含义为:容器可以使用300M 的物理内存,并且可以使用700M (1G - 300M)的swap。
不同数值含义
设置为0或者不设置,则容器可以使用的 swap 大小为 -m 值的两倍。
如果 --memory-swap 的值和 -m 值相同,则容器不能使用swap。
如果 --memory-swap 值为 -1,它表示容器程序使用的内存受限,而可以使用的swap空间使用不受限制(宿主机有多少swap 容器就可以使用多少)。
示例
--memory-swap 的值包含容器可用内存和可用swap,减去-m的值才是可用swap的值。
表示容器可以使用512M的物理内存,并且可以使用512M的swap。因为1g减去512m的物理内存,剩余值才是可用swap。
docker run -itd --name c1 -m 512m --memory-swap=1g centos:7 bash
--memoryswap值和 -m 的值相同,表示容器无法使用swap
docker run -itd --name c2 -m 512m --memory-swap=512m centos:7 bash
--memory-swap 的值设置为0或者不设置,则容器可以使用的 swap 大小为 -m 值的两倍。
docker run -itd --name c3 -m 512m centos:7 bash
--memory-swap 值为 -1,它表示容器程序使用的内存受限,但可以使用的swap空间使用不受限制(宿主机有多少swap 容器就可以使用多少)。
docker run -itd --name c4 -m 512m --memory-swap=-1 centos:7 bash
对磁盘IO的配置控制(blkio)的限制
--device-read-bps:限制某个设备上的读速度bps ( 数据量),单位可以是kb、mb (M)或者gb。
例:
docker run -itd --name test9 --device-read-bps /dev/sda:1M centos:7 /bin/bash
表示该容器每秒只能读取1M的数据量
--device-write-bps : 限制某个设备上的写速度bps ( 数据量),单位可以是kb、mb (M)或者gb。
例:
docker run -itd --name test10 --device-write-bps /dev/sda:1mb centos:7 /bin/bash
表示该容器每秒只能写入1M的数据量
--device-read-iops :限制读某个设备的iops (次数)
--device-write-iops :限制写入某个设备的iops ( 次数)
创建容器,不限制写速度
没有限制写速度的情况下,写入很快,0.067秒的时间内已写入50M的数据,写入速度为779M/s。
创建容器,并限制写速度
写入50M的数据,需要50s左右,因为限制了容器的写速度是 1.0 MB/s。
清除docker占用的磁盘空间
docker system prune -a
可用于清理磁盘,删除关闭的容器、无用的数据卷和网络。
总结
对cpu的限制参数
docker run -cpu-period #设置调度周期时间1000~1000000 -cpu-quota #设置容器进程的CPU占用时间,要与调度周期时间成比例 --cpu-shares #设置多个容器之间的CPU资源占用比 --cpuset-cpus #绑核(第一个CPU编号从0开始) 复制代码
对内存的限制
-m 物理内存 [--memory-swap=总值] 复制代码
对磁盘IO的限制
--device-read-bps 设备文件:1mb/1M #限制读速度 --device-write-bps 设备文件:1mb/1M #限制写速度 --device-read-iops #限制读次数 --device-write-iops #限制写次数 docker system prune -a #清理磁盘,删除关闭的容器、无用的数据卷和网络。
作者:落宿
链接:https://juejin.cn/post/7170614996055883790