k8s node内核参数优化

问题一：文件句柄超限：Too many open files

整个操作系统级 > 单用户级 > 容器级

解决方案

# 查看容器测限制 cat /etc/systemd/system/docker.service # 查看单用户限制 cat /etc/security/limits.conf 或者 ulimit -n （软限制） ulimit -Hn（硬限制） # 查看整个操作系统限制 cat /proc/sys/fs/file-max # 查看整个操作系统使用了多少 cat /proc/sys/fs/file-nr # 调整整个操作系统限制 echo "fs.file-max=1048576" | tee -a /etc/sysctl.conf && sysctl -p # 文件句柄最大值上限格局CPU核数，CPU越多，上限越高

问题二：进程/线程超限：fork: Resource temporarily unavailable

整个操作系统级 > 单用户级 > 容器级

问题现象

在kubelet日志和message日志有类似以下报错：

解决方案

# 查看容器测限制 cat /etc/systemd/system/docker.service # 查看单用户限制 cat /etc/security/limits.d/20-nproc.conf 或者 ulimit -u （软限制） ulimit -Hu（软限制） # 查看整个操作系统限制 cat /proc/sys/kernel/pid_max # 调整整个操作系统限制 echo "kernel.pid_max=4194304" | tee -a /etc/sysctl.conf && sysctl -p #32位：最大32768 #64位：最大4194304

公有云其他参数参考

net.core.somaxconn = 16384 net.ipv4.tcp_max_syn_backlog = 16384 net.ipv4.tcp_max_tw_buckets = 32768 net.ipv4.neigh.default.gc_thresh1 = 4096 net.ipv4.neigh.default.gc_thresh2 = 8192 net.ipv4.neigh.default.gc_thresh3 = 16384