k8s pod网络耗尽

395人浏览 / 0人评论

晚上突然机器突然负载高,后来直接宕机了,排除后发现pod ip分配过多导致。

1、kubelet日志

Error making POST request: Err: auto allocation failed - address exhaustion in subnet 10.110.....

2、CNI日志

auto allocation failed - address exhaustion in subnet 10.110......

 

后续解决:

每个pod网段进行监控:

1)、可以通过CNI的etcd存储目录中读取每个ip段被分配的数量

2)、也可以通过CNI的接口读取每个ip段被分配的数量

3)、比较简单的就是监控每个node上的POD的数据,可以通过prometheus的kubelet的

 对上面软件的错误日志进行监控

 

全部评论