modprobe: FATAL: Module br_netfilter not found

在openstack上有一个centos7.2版本的系统，通过离线源更新后，升级到了7.5版本，在安装k8s集群过程中，遇到了如下错误

公司主营业务：成都网站制作、网站设计、移动网站开发等业务。帮助企业客户真正实现互联网宣传，提高企业的竞争能力。创新互联是一支青春激扬、勤奋敬业、活力青春激扬、勤奋敬业、活力澎湃、和谐高效的团队。公司秉承以“开放、自由、严谨、自律”为核心的企业文化，感谢他们对我们的高要求，感谢他们从不同领域给我们带来的挑战，让我们激情的团队有机会用头脑与智慧不断的给客户带来惊喜。创新互联推出泰兴免费做网站回馈大家。

br_netfilter模块未发现

安装该模块

重新执行加载命令，结果还是原来的错误

考虑到跟内核相关配置，重启了服务器，恢复正常

Kubernetes（K8S）入门与安装配置

Kubernetes 是一个跨主机集群的开源的容器调度平台，它可以自动化应用容器的部署、扩展和操作 , 提供以容器为中心的基础架构。谷歌旗下开源软件，江湖人称K8S。

上图是一个通过K8S搭建的集群环境，采用三台物理机搭建(三台机器是K8S搭建集群的最低要求)，我先简单介绍一下几个重点名词。

Centos 7 Master * 1 (注意必须是双核以上的CPU，否则无法初始化K8S)

Centos 7 Node * 2

将文件上传至该目录

网盘地址： 

提取码：aew7

执行以下命令

如果不是groupfs,执行下列语句

将最后一行注释

运行docker images可以看到以下几个关键应用

kube-proxy 容器间通讯代理、kube-apiserver API服务端、kube-scheduler 任务调度器、kube-controller-manager 集群控制器、coredns  K8S内置的 DNS 服务器、etcd 用于保存集群所有的网络配置和对象的状态信息、pause前面已经提到用于容器间的通讯以及数据卷的挂载。至此K8S安装完成

图中的第一个红框的命令是需要管理员手动复制，然后在master服务器上执行的。

PS: admin.conf是kubeadm集群管理的核心配置文件，包含整个集群各个节点的授权信息，以及本身的一些配置信息

第二个红框中的命令是在node节点上执行，里面包含了一个加入集群的token认证信息以及ca证书的hashcode。通过该token可以加入K8S集群.

从图中看到master节点处于NotReady状态，说明节点中存在有问题的Pod，查看存在问题的pod，执行以下命令查看所有Pod状态

如果某个Pod的STATUS处于CrashLoopBackOff状态表示创建失败了，那么它会不断自动重新创建。上图中两个coredns处于pending状态，原因是我们没有配置K8S网络通讯协议fannel，从上传的文件中加载并创建flannel网络组件

3.在node节点上执行刚刚由kubeadm生成的节点加入命令

如果出现反复无法加入节点的情况，运行 kubeadm reset 这条命令还原当前节点上 kubeadm init 或者 kubeadm join 所做的所有更改。当想加入新节点忘记token时可以使用 kubeadm token list 查看token，或者 kubeadm token create创建token,采用跳过ca安全认证的方式加入节点。

4.三台机器设置kubelet开机自启,至此通过kubeadm集群配置完成

在主节点上执行以下命令，以下三个配件都是已经配置好的，装载即可。

图中dashboard服务已经被创建，配置文件中关闭了密码验证，只需要浏览器打开 无需登录。

k8s安装部署

K8s集群搭建

1 centos版本信息查看

[root@localhost ~]# uname -a

Linux localhost.localdomain 3.10.0-862.el7.x86_64 #1 SMP Fri Apr 20 16:44:24 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux

k8s集群机器关闭防火墙

[root@localhost ~]# systemctl stop firewalld

[root@localhost ~]# systemctl disable firewalld

Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.

Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.

2 安装必要的包

k8s集群安装以下安装包

[root@k8s-node ~]# yum -y install net-tools wget vim ntpd

[root@k8s-node ~]# systemctl enable ntpd

[root@k8s-node ~]# systemctl start ntpd

3配置hosts

[root@k8s-node ~]# cat /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4

::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.248.141 k8s-master

192.168.248.142 k8s-node

4 部署master节点

4.1 Master节点安装必要的安装包

[root@k8s-master ~]# yum -y install etcd

4.2更改/etc/etcd/etcd.conf配置文件

[root@k8s-master etcd]# cat /etc/etcd/etcd.conf | grep -v "^#"

ETCD_DATA_DIR="/var/lib/etcd/default.etcd"

ETCD_LISTEN_CLIENT_URLS=""

ETCD_NAME="master"

ETCD_ADVERTISE_CLIENT_URLS=

4.3设置开机启动并验证状态

[root@k8s-master ~]#systemctl enable etcd

[root@k8s-master ~]#systemctl start etcd

etcd检查

[root@k8s_master ~]# etcdctl -C cluster-health

member 8e9e05c52164694d is healthy: got healthy result from cluster is healthy

[root@k8s_master ~]# etcdctl -C cluster-health

member 8e9e05c52164694d is healthy: got healthy result from cluster is healthy

5 安装部署docker环境（略）

6 安装kubernetes

[root@k8s_master ~]# yum install kubernetes

安装过程中报错如下

Error: docker-ce conflicts with 2:docker-1.13.1-75.git8633870.el7.centos.x86_64

可以执行如下命令解决

1、查看安装过的docker：yum list installed | grep docker

2、卸载docker：yum remove -y docker-ce.x86_64 0:18.03.0.ce-1.el7.centos

3、删除容器镜像：rm -rf /var/lib/docker

再次安装kubernetes，安装成功，而且会自动安装docker

6.1修改apiserver服务的配置文件

[root@k8s-master kubernetes]# cat /etc/kubernetes/apiserver | grep -v "^#"

KUBE_API_ADDRESS="--insecure-bind-address=0.0.0.0"

KUBE_API_PORT="--port=8080"

KUBE_ETCD_SERVERS="--etcd-servers="

KUBE_SERVICE_ADDRESSES="--service-cluster-ip-range=10.254.0.0/16"

KUBE_ADMISSION_CONTROL="--admission-control=NamespaceLifecycle,NamespaceExists,LimitRanger,SecurityContextDeny,ResourceQuota"

KUBE_API_ARGS=""

6.2修改config配置文件:

[root@k8s-master kubernetes]# cat /etc/kubernetes/config | grep -v "^#"

KUBE_LOGTOSTDERR="--logtostderr=true"

KUBE_LOG_LEVEL="--v=0"

KUBE_ALLOW_PRIV="--allow-privileged=false"

KUBE_MASTER="--master="

设置开机启动，开启服务

[root@k8s-master ~]#systemctl enable kube-apiserver kube-controller-manager kube-scheduler docker

[root@k8s-master ~]#systemctl start kube-apiserver kube-controller-manager kube-scheduler docker

6.3查看服务端口:

[root@k8s-master ~]# netstat –tnlp

Active Internet connections (only servers)

Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name   

tcp        0      0 127.0.0.1:25            0.0.0.0:*               LISTEN      1273/master        

tcp        0      0 127.0.0.1:2380          0.0.0.0:*               LISTEN      2126/etcd          

tcp        0      0 0.0.0.0:111             0.0.0.0:*               LISTEN      571/rpcbind        

tcp        0      0 192.168.122.1:53        0.0.0.0:*               LISTEN      1362/dnsmasq       

tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      998/sshd           

tcp        0      0 127.0.0.1:631           0.0.0.0:*               LISTEN      996/cupsd          

tcp6       0      0 ::1:25                  :::*                    LISTEN      1273/master        

tcp6       0      0 :::4001                 :::*                    LISTEN      2126/etcd          

tcp6       0      0 :::6443                 :::*                    LISTEN      3216/kube-apiserver

tcp6       0      0 :::10251                :::*                    LISTEN      3222/kube-scheduler

tcp6       0      0 :::2379                 :::*                    LISTEN      2126/etcd          

tcp6       0      0 :::10252                :::*                    LISTEN      3221/kube-controlle

tcp6       0      0 :::111                  :::*                    LISTEN      571/rpcbind        

tcp6       0      0 :::8080                 :::*                    LISTEN      3216/kube-apiserver

tcp6       0      0 :::22                   :::*                    LISTEN      998/sshd           

tcp6       0      0 ::1:631                 :::*                    LISTEN      996/cupsd 

7部署node节点

7.1安装docker（略）安装k8s（略）

7.2 Node节点主机做以下配置：

修改config配置文件

[root@k8s-node kubernetes]# cat /etc/kubernetes/config | grep -v "^#"

KUBE_LOGTOSTDERR="--logtostderr=true"

KUBE_LOG_LEVEL="--v=0"

KUBE_ALLOW_PRIV="--allow-privileged=false"

KUBE_MASTER="--master="

修改kubelet配置文件

[root@k8s-node kubernetes]# cat /etc/kubernetes/kubelet | grep -v "^#"

KUBELET_ADDRESS="--address=0.0.0.0"

KUBELET_HOSTNAME="--hostname-override=192.168.248.142"

KUBELET_API_SERVER="--api-servers="

KUBELET_POD_INFRA_CONTAINER="--pod-infra-container-image=registry.access.redhat.com/rhel7/pod-infrastructure:latest"

KUBELET_ARGS=""

设置开机启动、开启服务

[root@k8s_client1 ~]# systemctl enable kubelet kube-proxy

[root@k8s_client1 ~]# systemctl start kubelet kube-proxy

查看端口：

[root@k8s_client1 ~]# netstat –ntlp

Active Internet connections (only servers)

Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name   

tcp        0      0 127.0.0.1:25            0.0.0.0:*               LISTEN      1277/master        

tcp        0      0 127.0.0.1:10248         0.0.0.0:*               LISTEN      3246/kubelet       

tcp        0      0 127.0.0.1:10249         0.0.0.0:*               LISTEN      3133/kube-proxy    

tcp        0      0 0.0.0.0:111             0.0.0.0:*               LISTEN      575/rpcbind        

tcp        0      0 192.168.122.1:53        0.0.0.0:*               LISTEN      1332/dnsmasq       

tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      1000/sshd          

tcp        0      0 127.0.0.1:631           0.0.0.0:*               LISTEN      998/cupsd          

tcp6       0      0 ::1:25                  :::*                    LISTEN      1277/master        

tcp6       0      0 :::4194                 :::*                    LISTEN      3246/kubelet       

tcp6       0      0 :::10250                :::*                    LISTEN      3246/kubelet       

tcp6       0      0 :::10255                :::*                    LISTEN      3246/kubelet       

tcp6       0      0 :::111                  :::*                    LISTEN      575/rpcbind        

tcp6       0      0 :::22                   :::*                    LISTEN      1000/sshd          

tcp6       0      0 ::1:631                 :::*                    LISTEN      998/cupsd      

Master上查看集群中的节点及节点状态

[root@k8s-master kubernetes]# kubectl get node

NAME              STATUS    AGE

192.168.248.142   Ready     2m

[root@k8s-master kubernetes]# kubectl -s get node

NAME              STATUS    AGE

192.168.248.142   Ready     2m

kubernetes集群搭建完成。

在k8s集群中创建pod，如果出现如下错误

其中最主要的问题是：details: (open /etc/docker/certs.d/registry.access.redhat.com/redhat-ca.crt: no such file or directory)

解决方案：

查看/etc/docker/certs.d/registry.access.redhat.com/redhat-ca.crt （该链接就是上图中的说明） 是一个软链接，但是链接过去后并没有真实的/etc/rhsm，所以需要使用yum安装：

yum install *rhsm*

安装完成后，执行一下docker pull registry.access.redhat.com/rhel7/pod-infrastructure:latest

如果依然报错，可参考下面的方案：

wget

rpm2cpio python-rhsm-certificates-1.19.10-1.el7_4.x86_64.rpm | cpio -iv --to-stdout ./etc/rhsm/ca/redhat-uep.pem | tee /etc/rhsm/ca/redhat-uep.pem

注释：rpm2cpio命令用于将rpm软件包转换为cpio格式的文件

cpio命令主要是用来建立或者还原备份档的工具程序，cpio命令可以复制文件到归档包中，或者从归档包中复文件。          

       -i   还原备份档  

       -v  详细显示指令的执行过程

这两个命令会生成/etc/rhsm/ca/redhat-uep.pem文件.

[root@k8s-node ~]# docker pull registry.access.redhat.com/rhel7/pod-infrastructure:latest

在master节点新建pod并查看起状态为正常

flannel是CoreOS提供用于解决Dokcer集群跨主机通讯的覆盖网络工具。它的主要思路是：预先留出一个网段，每个主机使用其中一部分，然后每个容器被分配不同的ip；让所有的容器认为大家在同一个直连的网络，底层通过UDP/VxLAN等进行报文的封装和转发。

Kubernetes Operator 快速入门教程（Operator 101）

在 Kubernetes 的监控方案中我们经常会使用到一个Promethues Operator的项目，该项目可以让我们更加方便的去使用 Prometheus，而不需要直接去使用最原始的一些资源对象，比如 Pod、Deployment，随着 Prometheus Operator 项目的成功，CoreOS 公司开源了一个比较厉害的工具：Operator Framework，该工具可以让开发人员更加容易的开发 Operator 应用。

在本篇文章中我们会为大家介绍一个简单示例来演示如何使用 Operator Framework 框架来开发一个 Operator 应用。

Kubernetes Operator

Operator 是由 CoreOS 开发的，用来扩展 Kubernetes API，特定的应用程序控制器，它用来创建、配置和管理复杂的有状态应用，如数据库、缓存和监控系统。Operator 基于 Kubernetes 的资源和控制器概念之上构建，但同时又包含了应用程序特定的领域知识。创建Operator 的关键是CRD（自定义资源）的设计。

Kubernetes 1.7 版本以来就引入了自定义控制器的概念，该功能可以让开发人员扩展添加新功能，更新现有的功能，并且可以自动执行一些管理任务，这些自定义的控制器就像 Kubernetes 原生的组件一样，Operator 直接使用 Kubernetes API进行开发，也就是说他们可以根据这些控制器内部编写的自定义规则来监控集群、更改 Pods/Services、对正在运行的应用进行扩缩容。

Operator Framework

Operator Framework 同样也是 CoreOS 开源的一个用于快速开发 Operator 的工具包，该框架包含两个主要的部分：

Workflow

Operator SDK 提供以下工作流来开发一个新的 Operator：

Demo

我们平时在部署一个简单的 Webserver 到 Kubernetes 集群中的时候，都需要先编写一个 Deployment 的控制器，然后创建一个 Service 对象，通过 Pod 的 label 标签进行关联，最后通过 Ingress 或者 type=NodePort 类型的 Service 来暴露服务，每次都需要这样操作，是不是略显麻烦，我们就可以创建一个自定义的资源对象，通过我们的 CRD 来描述我们要部署的应用信息，比如镜像、服务端口、环境变量等等，然后创建我们的自定义类型的资源对象的时候，通过控制器去创建对应的 Deployment 和 Service，是不是就方便很多了，相当于我们用一个资源清单去描述了 Deployment 和 Service 要做的两件事情。

这里我们将创建一个名为 AppService 的 CRD 资源对象，然后定义如下的资源清单进行应用部署：

通过这里的自定义的 AppService 资源对象去创建副本数为2的 Pod，然后通过 nodePort=30002 的端口去暴露服务，接下来我们就来一步一步的实现我们这里的这个简单的 Operator 应用。

开发环境

环境需求

要开发 Operator 自然 Kubernetes 集群是少不了的，还需要 Golang 的环境，这里的安装就不多说了，然后还需要一个 Go 语言的依赖管理工具包：dep，由于 Operator SDK 是使用的 dep 该工具包，所以需要我们提前安装好，可以查看资料：，另外一个需要说明的是，由于 dep 去安装的时候需要去谷歌的网站拉取很多代码，所以正常情况下的话是会失败的，需要做什么工作大家应该清楚吧？要科学。

安装 operator-sdk

operator sdk 安装方法非常多，我们可以直接在 github 上面下载需要使用的版本，然后放置到 PATH 环境下面即可，当然也可以将源码 clone 到本地手动编译安装即可，如果你是 Mac，当然还可以使用常用的 brew 工具进行安装：

我们这里使用的 sdk 版本是v0.7.0，其他安装方法可以参考文档：

演示

创建新项目

环境准备好了，接下来就可以使用 operator-sdk 直接创建一个新的项目了，命令格式为： operator-sdk new

按照上面我们预先定义的 CRD 资源清单，我们这里可以这样创建：

到这里一个全新的 Operator 项目就新建完成了。

项目结构

使用operator-sdk new命令创建新的 Operator 项目后，项目目录就包含了很多生成的文件夹和文件。

我们主要需要编写的是 pkg 目录下面的 api 定义以及对应的 controller 实现。

添加 API

接下来为我们的自定义资源添加一个新的 API，按照上面我们预定义的资源清单文件，在 Operator 相关根目录下面执行如下命令：

添加完成后，我们可以看到类似于下面的这样项目结构：

添加控制器

上面我们添加自定义的 API，接下来可以添加对应的自定义 API 的具体实现 Controller，同样在项目根目录下面执行如下命令：

这样整个 Operator 项目的脚手架就已经搭建完成了，接下来就是具体的实现了。

自定义 API

打开源文件pkg/apis/app/v1/appservice_types.go，需要我们根据我们的需求去自定义结构体 AppServiceSpec，我们最上面预定义的资源清单中就有 size、image、ports 这些属性，所有我们需要用到的属性都需要在这个结构体中进行定义：

代码中会涉及到一些包名的导入，由于包名较多，所以我们会使用一些别名进行区分，主要的包含下面几个：

这里的 resources、envs、ports 的定义都是直接引用的"k8s.io/api/core/v1"中定义的结构体，而且需要注意的是我们这里使用的是ServicePort，而不是像传统的 Pod 中定义的 ContanerPort，这是因为我们的资源清单中不仅要描述容器的 Port，还要描述 Service 的 Port。

然后一个比较重要的结构体AppServiceStatus用来描述资源的状态，当然我们可以根据需要去自定义状态的描述，我这里就偷懒直接使用 Deployment 的状态了：

定义完成后，在项目根目录下面执行如下命令：

改命令是用来根据我们自定义的 API 描述来自动生成一些代码，目录pkg/apis/app/v1/下面以zz_generated开头的文件就是自动生成的代码，里面的内容并不需要我们去手动编写。

实现业务逻辑

NewDeploy 方法实现如下：

newService 对应的方法实现如下：

这样我们就实现了 AppService 这种资源对象的业务逻辑。

调试

如果我们本地有一个可以访问的 Kubernetes 集群，我们也可以直接进行调试，在本地用户~/.kube/config文件中配置集群访问信息，下面的信息表明可以访问 Kubernetes 集群：

首先，在集群中安装 CRD 对象：

上面的命令会在本地运行 Operator 应用，通过~/.kube/config去关联集群信息，现在我们去添加一个 AppService 类型的资源然后观察本地 Operator 的变化情况，资源清单文件就是我们上面预定义的（deploy/crds/app_v1_appservice_cr.yaml）

直接创建这个资源对象：

我们可以看到我们的应用创建成功了，这个时候查看 Operator 的调试窗口会有如下的信息出现：

然后我们可以去查看集群中是否有符合我们预期的资源出现：

看到了吧，我们定义了两个副本（size=2），这里就出现了两个 Pod，还有一个 NodePort=30002 的 Service 对象，我们可以通过该端口去访问下应用：

如果应用在安装过程中出现了任何问题，我们都可以通过本地的 Operator 调试窗口找到有用的信息，然后调试修改即可。

清理：

部署

自定义的资源对象现在测试通过了，但是如果我们将本地的operator-sdk up local命令终止掉，我们可以猜想到就没办法处理 AppService 资源对象的一些操作了，所以我们需要将我们的业务逻辑实现部署到集群中去。

执行下面的命令构建 Operator 应用打包成 Docker 镜像：

镜像构建成功后，推送到 docker hub：

镜像推送成功后，使用上面的镜像地址更新 Operator 的资源清单：

现在 Operator 的资源清单文件准备好了，然后创建对应的 RBAC 的对象：

到这里我们的 CRD 和 Operator 实现都已经安装成功了。

现在我们再来部署我们的 AppService 资源清单文件，现在的业务逻辑就会在上面的opdemo-64db96d575-9vtq6的 Pod 中去处理了。

然后同样的可以通过 30002 这个 NodePort 端口去访问应用，到这里应用就部署成功了。

清理

有资源清单文件，直接删除即可：

开发

Operator SDK 为我们创建了一个快速启动的代码和相关配置，如果我们要开始处理相关的逻辑，我们可以在项目中搜索TODO(user)这个注释来实现我们自己的逻辑，比如在我的 VSCode 环境中，看上去是这样的：

本篇文章示例代码地址：

参考资料

分享文章：go语言安装k8s go语言安装第三方库
链接分享：http://kswjz.com/article/doecses.html