K8S集群以及dashboard部署

@H_404_0@

@H_404_0@ 什么是Kubernetes ？

Kubernetes是一个轻便的和可扩展的开源平台，用于管理容器化应用和服务。通过Kubernetes能够进行应用的自动化部署和扩缩容。在Kubernetes中，会将组成应用的容器组合成一个逻辑单元以更易管理和发现。 Kubernetes集群架构节点角色功能，包括： Master Node节点： 1.k8s集群控制节点，对集群进行调度管理，接受集群外用户去集群操作请求； 2.Master Node由API Server、Scheduler、ClusterState Store（ETCD数据库）和Controller mangerServer所组成； Worker Node节点： 1.集群工作节点，运行用户业务应用容器； 2.Worker Node包含kubelet、kube proxy和ContainerRuntime；

@H_404_0@Kubernetes 集群组件功能：

@H_404_0@Master组件

@H_404_0@1、API Server：

@H_404_0@ K8S对外的唯一接口，提供HTTP/HTTPS RESTful API，所有的请求都需要经过这个接口进行通信，主要负责接收、校验并响应所有的REST请求，结果状态被持久存储在etcd当中，所有资源增删改查的唯一入口。

@H_404_0@2、etcd：

@H_404_0@负责保存k8s 集群的配置信息和各种资源的状态信息，当数据发生变化时，etcd会快速地通知k8s相关组件，etcd是一个独立的服务组件，并不隶属于K8S集群。生产环境当中etcd应该以集群方式运行，以确保服务的可用性。

@H_404_0@3、Controller Manager：

@H_404_0@负责管理集群各种资源，保证资源处于预期的状态。Controller Manager由多种controller组成，包括replication controller、endpoints controller、namespace controller、serviceaccounts controller等。由控制器完成的主要功能主要包括生命周期功能和API业务逻辑，

@H_404_0@4、调度器（Schedule）

@H_404_0@资源调度，负责决定将Pod放到哪个Node上运行。Scheduler在调度时会对集群的结构进行分析，当前各个节点的负载，以及应用对高可用、性能等方面的需求。

Node组件

1、Kubelet

kubelet是node的agent，当Scheduler确定在某个Node上运行Pod后，会将Pod的具体配置信息（image、volume等）发送给该节点的kubelet，kubelet会根据这些信息创建和运行容器，并向master报告运行状态。

2、Container Runtime

每个Node都需要提供一个容器运行时（Container Runtime）环境，它负责下载镜像并运行容器。

3、Kube-proxy：

service在逻辑上代表了后端的多个Pod，外借通过service访问Pod。service接收到请求就需要kube-proxy完成转发到Pod的。每个Node都会运行kube-proxy服务，负责将访问的service的TCP/UDP数据流转发到后端的容器。

@H_404_0@

@H_404_0@什么是pod ?

@H_404_0@Kubernetes 并不直接地运行容器，而是被一个抽象的资源对象Pod所封装，它是K8S最小的调度单位，Pod可以封装一个或多个容器，同一个Pod中共享网络名称空间和存储资源，而容器之间可以通过本地回环接口直接通信，但是彼此之间又在Mount、User和Pid等名称空间上保持了隔离。

pod创建调度过程

@H_404_0@1.首先，用户使用create yaml创建pod，请求给apiseerver，apiserver将yaml中的属性信息写入etcd。

@H_404 [email protected]触发watch机制开始创建pod，信息转发给调度器，调度器使用算法选择相应的node节点，并将node信息反馈给apiserver，apiserver将绑定的node信息写入etcd。

@H_404 [email protected]再通过watch机制，调用kubelet，指定pod信息，触发docker run命令创建容器，创建完成后反馈给kubelet, kubelet再将pod的状态信息给apiserver,apiserver则将pod的状态信息写入etcd。

集群部署：

@H_404_0@

@H_404_0@环境准备：

@H_404_0@系统：centos7.6 1810 (Core)

@H_404_0@K8s版本：1.21.x

@H_404_0@docker版本：19.03.15

@H_404_0@

@H_404_0@各虚拟服务器规划如下：

@H_404_0@

@H_404_0@注：

@H_404_0@一.各节点按规划配置好hosts,另本次复用在master01节点部署安装工具，因此在master01做ssh-keygen,并ssh-copy-id其余节点

@H_404_0@二.同时做好chrony时间同步

@H_404_0@三. 各master以及node节点安装docker

@H_404_0@

@H_404_0@1.部署harbor，本次采用https

@H_404_0@ # 解压软件

@H_404_0@[root@k8s-harbor tools]# tar xzvf harbor-offline-installer-v2.3.2.tgz

@H_404_0@[root@k8s-harbor ~]# mkdir -p /key/harbor/certs/

@H_404_0@[root@k8s-harbor ~]# cd /key/harbor/certs/

@H_404_0@#生成key 以及签发证书

@H_404_0@[root@k8s-harbor certs]# openssl genrsa -out harbor-ca.key

@H_404_0@[root@k8s-harbor certs]# openssl req -x509 -new -nodes -key harbor-ca.key -subj "/CN=magedu.gfeng.net" -days 7120 -out harbor-ca.crt

@H_404_0@[root@k8s-harbor certs]# ls

@H_404_0@

@H_404_0@修改配置文件：

@H_404_0@[root@k8s-harbor tools]# vim harbor/harbor.yml

@H_404_0@

@H_404_0@配置如下：

@H_404_0@# https related config
https:
# https port for harbor, default is 443
port: 443
# The path of cert and key files for Nginx
certificate: /key/harbor/certs/harbor-ca.crt
private_key: /key/harbor/certs/harbor-ca.key

@H_404_0@# # Uncomment following will enable tls communication between all harbor components
# internal_tls:
# # set enabled to true means internal tls is enabled
# enabled: true
# # put your cert and key files on dir
# dir: /etc/harbor/tls/internal

@H_404_0@# Uncomment external_url if you want to enable external proxy
# And when it enabled the hostname will no longer used
# external_url: https://reg.mydomain.com:8433

@H_404_0@# The initial password of Harbor admin
# It only works in first time to install harbor
# Remember Change the admin password from UI after launching Harbor.
harbor_admin_password: 123456

@H_404_0@# Harbor DB configuration
database:
# The password for the root user of Harbor DB. Change this before any production use.
password: root123
# The maximum number of connections in the idle connection pool. If it <=0, no idle connections are retained.
max_idle_conns: 100
# The maximum number of open connections to the database. If it <= 0, then there is no limit on the number of open connections.
# Note: the default number of connections is 1024 for postgres of harbor.
max_open_conns: 900

@H_404_0@# The default data volume
data_volume: /data

@H_404_0@

@H_404_0@安装harbor:

@H_404_0@[root@k8s-harbor harbor]# ./install.sh --with-trivy

@H_404_0@安装完成后，访问https://172.16.1.174测试：

@H_404_0@

@H_404_0@2.客户端同步证书验证

@H_404_0@[root@k8s-master01 ~]# mkdir -p /etc/docker/certs.d/magedu.gfeng.net/

@H_404_0@[root@k8s-harbor certs]# scp harbor-ca.crt [email protected]:/etc/docker/certs.d/magedu.gfeng.net/

@H_404_0@[root@k8s-master01 magedu.gfeng.net]# ls

@H_404_0@

@H_404_0@重启docker并验证

@H_404_0@[root@k8s-master01 magedu.gfeng.net]# docker login magedu.gfeng.net

@H_404_0@

@H_404_0@采用同样的方式，对master02和node节点做同样的操作，当然也可以采写脚本，这里不做演示

@H_404_0@

@H_404_0@3.部署haproxy+keepalive高可用负载（之前文章已经部署，这里不做演示）

@H_404_0@#配置haproxy

@H_404_0@[root@lb ~]# vim /etc/haproxy/haproxy.cfg

@H_404_0@#添加如下内容：

@H_404_0@frontend main 172.16.1.96:6443
default_backend k8s

@H_404_0@backend k8s
balance roundrobin
server server1 172.16.1.190:6443 check
server server2 172.16.1.191:6443 check

@H_404_0@

@H_404_0@#配置完成后，重启haproxy

@H_404_0@

@H_404_0@ K8s部署：

@H_404_0@1.在master01节点操作

@H_404_0@#安装ansible

@H_404_0@[root@k8s-master01 ~]# yum install ansible -y

@H_404_0@#下载部署工具以及组件

@H_404_0@[root@k8s-master01 ~]# export release=3.1.0

@H_404_0@[root@k8s-master01 ~]#curl -C- -fLO --retry 3 https://github.com/easzlab/kubeasz/releases/download/${release}/ezdown

@H_404_0@[root@k8s-master01 ~]# chmod a+x ezdown

@H_404_0@#修改配置文件

@H_404_0@[root@k8s-master01 ~]# vim ezdown

@H_404_0@# default settings, can be overridden by cmd line options, see usage
DOCKER_VER=19.03.15
KUBEASZ_VER=3.1.0
K8S_BIN_VER=v1.21.0

@H_404_0@#使用工具脚本下载

@H_404_0@./ezdown -D

@H_404_0@上述脚本运行成功后，所有文件（kubeasz代码、二进制、离线镜像）均已整理好放入目录/etc/kubeasz

@H_404_0@

@H_404_0@2.生成ansible hosts文件

@H_404_0@[root@k8s-master01 ~]# cd /etc/kubeasz/

@H_404_0@[root@k8s-master01 kubeasz]# ./ezctl new k8s-001

@H_404_0@#编辑生成hosts文件

@H_404_0@[root@k8s-master01 kubeasz]# vim clusters/k8s-001/hosts

@H_404_0@

@H_404_0@内容如下：

@H_404_0@# 'etcd' cluster should have odd member(s) (1,3,5,...)
[etcd]
172.16.1.194
172.16.1.195
172.16.1.196

@H_404_0@# master node(s)
[kube_master]
172.16.1.190
172.16.1.191

@H_404_0@# work node(s)
[kube_node]
172.16.1.192
172.16.1.193

@H_404_0@# [optional] harbor server, a private docker registry
# 'NEW_INSTALL': 'true' to install a harbor server; 'false' to integrate with existed one
[harbor]
#172.16.1.8 NEW_INSTALL=false

@H_404_0@# [optional] loadbalance for accessing k8s from outside
[ex_lb]
172.16.1.97 LB_ROLE=backup EX_APISERVER_VIP=172.16.1.96 EX_APISERVER_PORT=8443
172.16.1.98 LB_ROLE=master EX_APISERVER_VIP=172.16.1.96 EX_APISERVER_PORT=8443

@H_404_0@# [optional] ntp server for the cluster
[chrony]
#172.16.1.1

@H_404_0@[all:vars]
# --------- Main Variables ---------------
# Secure port for apiservers
SECURE_PORT="6443"

@H_404_0@# Cluster container-runtime supported: docker, containerd
CONTAINER_RUNTIME="docker"

@H_404_0@# Network plugins supported: calico, flannel, kube-router, cilium, kube-ovn
CLUSTER_NETWORK="calico"

@H_404_0@# Service proxy mode of kube-proxy: 'iptables' or 'ipvs'
PROXY_MODE="ipvs"

@H_404_0@# K8S Service CIDR, not overlap with node(host) networking
SERVICE_CIDR="10.100.0.0/16"

@H_404_0@# Cluster CIDR (Pod CIDR), not overlap with node(host) networking
CLUSTER_CIDR="10.200.0.0/16"

@H_404_0@# NodePort Range
NODE_PORT_RANGE="30000-32767"

@H_404_0@# Cluster DNS Domain
CLUSTER_DNS_DOMAIN="magedu.local"

@H_404_0@# -------- Additional Variables (don't change the default value right Now) ---
# Binaries Directory

@H_404_0@

@H_404_0@#编辑生成config.yml文件

@H_404_0@[root@k8s-master01 kubeasz]# vim /etc/kubeasz/clusters/k8s-001/config.yml

@H_404_0@内容如下：

@H_404_0@SYS_RESERVED_ENABLED: "no"

@H_404_0@# haproxy balance mode
BALANCE_ALG: "roundrobin"

@H_404_0@
############################
# role:network [flannel,calico,cilium,kube-ovn,kube-router]
############################
# ------------------------------------------- flannel
# [flannel]设置flannel 后端"host-gw","vxlan"等
FLANNEL_BACKEND: "vxlan"
DIRECT_ROUTING: false

@H_404_0@# [flannel] flanneld_image: "quay.io/coreos/flannel:v0.10.0-amd64"
flannelVer: "v0.13.0-amd64"
flanneld_image: "easzlab/flannel:{{ flannelVer }}"

@H_404_0@# [flannel]离线镜像tar包
flannel_offline: "flannel_{{ flannelVer }}.tar"

@H_404_0@# ------------------------------------------- calico
# [calico]设置 CALICO_IPV4POOL_IPIP=“off”,可以提高网络性能，条件限制详见 docs/setup/calico.md
CALICO_IPV4POOL_IPIP: "Always"

@H_404_0@# [calico]设置 calico-node使用的host IP，bgp邻居通过该地址建立，可手工指定也可以自动发现
IP_AUTODETECTION_METHOD: "can-reach={{ groups['kube_master'][0] }}"

@H_404_0@# [calico]设置calico 网络 backend: brid, vxlan, none
CALICO_NETWORKING_BACKEND: "brid"

@H_404_0@# [calico]更新支持calico 版本: [v3.3.x] [v3.4.x] [v3.8.x] [v3.15.x]
calico_ver: "v3.15.3"

@H_404_0@# [calico]calico 主版本
calico_ver_main: "{{ calico_ver.split('.')[0] }}.{{ calico_ver.split('.')[1] }}"

@H_404_0@# [calico]离线镜像tar包
calico_offline: "calico_{{ calico_ver }}.tar"

@H_404_0@# ------------------------------------------- cilium
# [cilium]CILIUM_ETCD_OPERATOR 创建的 etcd 集群节点数 1,3,5,7...
ETCD_CLUSTER_SIZE: 1

@H_404_0@# [cilium]镜像版本
cilium_ver: "v1.4.1"

@H_404_0@# [cilium]离线镜像tar包
cilium_offline: "cilium_{{ cilium_ver }}.tar"

@H_404_0@# ------------------------------------------- kube-ovn
# [kube-ovn]选择 OVN DB and OVN Control Plane 节点，默认为第一个master节点
OVN_DB_NODE: "{{ groups['kube_master'][0] }}"

@H_404_0@# [kube-ovn]离线镜像tar包
kube_ovn_ver: "v1.5.3"
kube_ovn_offline: "kube_ovn_{{ kube_ovn_ver }}.tar"

@H_404_0@# ------------------------------------------- kube-router
# [kube-router]公有云上存在限制，一般需要始终开启 ipinip；自有环境可以设置为 "subnet"
OVERLAY_TYPE: "full"

@H_404_0@# [kube-router]NetworkPolicy 支持开关
FIREWALL_ENABLE: "true"

@H_404_0@# [kube-router]kube-router 镜像版本
############################
# prepare
############################
# 可选离线安装系统软件包 (offline|online)
INSTALL_SOURCE: "online"

@H_404_0@# 可选进行系统安全加固 github.com/dev-sec/ansible-collection-hardening
OS_HARDEN: false

@H_404_0@# 设置时间源服务器【重要：集群内机器时间必须同步】
ntp_servers:
- "ntp1.aliyun.com"
- "time1.cloud.tencent.com"
- "0.cn.pool.ntp.org"

@H_404_0@# 设置允许内部时间同步的网络段，比如"10.0.0.0/8"，默认全部允许
local_network: "0.0.0.0/0"

@H_404_0@
############################
# role:deploy
############################
# default: ca will expire in 100 years
# default: certs issued by the ca will expire in 50 years
CA_EXPIRY: "876000h"
CERT_EXPIRY: "438000h"

@H_404_0@# kubeconfig 配置参数
CLUSTER_NAME: "cluster1"
CONTEXT_NAME: "context-{{ CLUSTER_NAME }}"

@H_404_0@
############################
# role:etcd
############################
# 设置不同的wal目录，可以避免磁盘io竞争，提高性能
ETCD_data_dir: "/var/lib/etcd"
ETCD_WAL_DIR: ""

@H_404_0@
############################
# role:runtime [containerd,docker]
############################
# ------------------------------------------- containerd
# [.]启用容器仓库镜像
ENABLE_MIRROR_REGISTRY: true

@H_404_0@# [containerd]基础容器镜像
SANDBox_IMAGE: "easzlab/pause-amd64:3.4.1"

@H_404_0@# [containerd]容器持久化存储目录
CONTAINERD_STORAGE_DIR: "/var/lib/containerd"

@H_404_0@# ------------------------------------------- docker
# [docker]容器存储目录
DOCKER_STORAGE_DIR: "/var/lib/docker"

@H_404_0@# [docker]开启Restful API
ENABLE_REMOTE_API: false

@H_404_0@# [docker]信任的HTTP仓库
INSECURE_REG: '["127.0.0.1/8","172.16.1.174"]'

@H_404_0@
############################
# role:kube-master
############################
# k8s 集群 master 节点证书配置，可以添加多个ip和域名（比如增加公网ip和域名）
MASTER_CERT_HOSTS:
- "10.1.1.1"
- "k8s.test.io"
#- "www.test.com"

@H_404_0@# node 节点上 pod 网段掩码长度（决定每个节点最多能分配的pod ip地址）
# 如果flannel 使用 --kube-subnet-mgr 参数，那么它将读取该设置为每个节点分配pod网段
# https://github.com/coreos/flannel/issues/847
NODE_CIDR_LEN: 24

@H_404_0@
############################
# role:kube-node
############################
# Kubelet 根目录
KUBELET_ROOT_DIR: "/var/lib/kubelet"

@H_404_0@# node节点最大pod 数
MAX_PODS: 210

@H_404_0@# 配置为kube组件（kubelet,kube-proxy,dockerd等）预留的资源量
# 数值设置详见templates/kubelet-config.yaml.j2
KUBE_RESERVED_ENABLED: "yes"

@H_404_0@# k8s 官方不建议草率开启 system-reserved, 除非你基于长期监控，了解系统的资源占用状况；
# 并且随着系统运行时间，需要适当增加资源预留，数值设置详见templates/kubelet-config.yaml.j2
# 系统预留设置基于 4c/8g 虚机，最小化安装系统服务，如果使用高性能物理机可以适当增加预留
# 另外，集群安装时候apiserver等资源占用会短时较大，建议至少预留1g内存
SYS_RESERVED_ENABLED: "no"