K8S 暴露服务给外网访问的三种方式

目录

• 1. NodePort
• 2. Loadbalancer
  • 2.1 确认 strictARP 模式
  • 2.2 安装 metalLB
  • 2.3 配置 IP 池
  • 2.4 测试效果
• 3. Ingress

---

1. NodePort

kubectl run 创建 pod

[root@master ~]#kubectl run Nginx --image=Nginx:1.14 --port=80 --replicas=3
kubectl run --generator=deployment/apps.v1 is DEPRECATED and will be removed in a future version. Use kubectl run --generator=run-pod/v1 or kubectl create instead.
deployment.apps/Nginx created
[root@master ~]#kubectl get pods
NAME                     READY   STATUS    RESTARTS   AGE
Nginx-59d795d786-5ln28   1/1     Running   0          34s
Nginx-59d795d786-xnfjq   1/1     Running   0          34s
Nginx-59d795d786-z86nn   1/1     Running   0          34s
[root@master ~]#kubectl get all
NAME                         READY   STATUS    RESTARTS   AGE
pod/Nginx-59d795d786-5ln28   1/1     Running   0          59s
pod/Nginx-59d795d786-xnfjq   1/1     Running   0          59s
pod/Nginx-59d795d786-z86nn   1/1     Running   0          59s

NAME                 TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)   AGE
service/kubernetes   ClusterIP   10.96.0.1    <none>        443/TCP   3d9h

NAME                    READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/Nginx   3/3     3            3           59s

NAME                               DESIRED   CURRENT   READY   AGE
replicaset.apps/Nginx-59d795d786   3         3         3       59s

kubectl expose 发布容器

[root@master ~]#kubectl expose deployment Nginx --port=80 --target-port=80 --name=Nginx-service --type=NodePort
service/Nginx-service exposed

# 查看 Pod 网络状态详细信息和 Service 暴露的端口
[root@master ~]#kubectl get svc,pod -o wide
NAME                    TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)        AGE     SELECTOR
service/kubernetes      ClusterIP   10.96.0.1      <none>        443/TCP        3d9h    <none>
service/Nginx-service   NodePort    10.96.158.55   <none>        80:31083/TCP   3m37s   run=Nginx

NAME                         READY   STATUS    RESTARTS   AGE     IP           NODE     NOMINATED NODE   READInesS GATES
pod/Nginx-59d795d786-5ln28   1/1     Running   0          7m48s   10.244.1.3   node01   <none>           <none>
pod/Nginx-59d795d786-xnfjq   1/1     Running   0          7m48s   10.244.2.3   node02   <none>           <none>
pod/Nginx-59d795d786-z86nn   1/1     Running   0          7m48s   10.244.2.4   node02   <none>           <none>

K8S 模拟项目 pod 发布

2. Loadbalancer

  在 k8s 中创建 service 时，需要指定 type 类型，可以分别指定 ClusterIP、NodePort、LoadBalancer 三种，其中前面两种无论在内网还是公网环境下使用都很常见，只有 LoadBalancer 大部分情况下只适用于支持外部负载均衡器的云提供商（AWS、阿里云、华为云等）使用。
  本地自己安装的 k8s 集群，默认是不支持 LoadBalancer 的，需要自己安装一个组件来支持。而云上的 k8s，肯定是都支持 LoadBalancer 的。如果自己公司搭建集群，那肯定也是需要安装 LoadBalancer 的，支持本地集群 LoadBalancer 的组件:

• MetalLB: Netlify 是一家位于旧金山的云计算公司，为 Web 应用程序和静态网站提供托管和无服务器后端服务。
• openelb: 之前是 PorterLB，KubeSphere 公司开源的，是有中文文档的，不过改名的过程中, 有点乱。

LoadBalancer 示意图

2.1 确认 strictARP 模式

如果你的网络是运行在 IPVS 模式下(默认是 iptables)，那么需要设置 strictARP 模式。 链接

[root@master ~]# curl localhost:10249/proxyMode
ipvs
[root@master ~]# kubectl edit configmap -n kube-system kube-proxy
# 修改其中的 strictARP 为 true，下面字段不是连续的上下行，只展示了需要注意的行数
......
    apiVersion: kubeproxy.config.k8s.io/v1alpha1
    kind: KubeProxyConfiguration
    mode: "ipvs"
    ipvs:
      strictARP: true
......

2.2 安装 MetalLB

官网可能执行不了
kubectl apply -f https://raw.githubusercontent.com/metallb/metallb/v0.10.2/manifests/namespace.yaml
kubectl apply -f https://raw.githubusercontent.com/metallb/metallb/v0.10.2/manifests/metallb.yaml

[root@master ~]#kubectl apply -f http://49.232.8.65/yaml/Metallb/namespace.yaml
namespace/Metallb-system created
[root@master ~]#kubectl apply -f http://49.232.8.65/yaml/Metallb/Metallb.yaml
......
[root@master ~]#kubectl get pods -n Metallb-system
NAME                          READY   STATUS    RESTARTS   AGE
controller-857846f7df-l245m   1/1     Running   0          42s
speaker-5ln28                 1/1     Running   0          42s
speaker-xnfjq                 1/1     Running   0          42s
speaker-z86nn                 1/1     Running   0          42s
# Metallb-system 命名空间下有 controller，speaker 等进程已经在 Running 状态，说明正常。

2.3 配置 IP 池

这里我们使用 layer2 协议，毕竟本地测试没有 BGP 设备，如果是正式用，还是要上 BGP 设备的。先申请预留的 IP 端，配置如下：

[root@master ~]#vim Metallb.ip.yaml
[root@master ~]#cat Metallb.ip.yaml
apiVersion: v1
kind: ConfigMap
Metadata:
  namespace: Metallb-system
  name: config
data:
  config: |
    address-pools:
    - name: default
      protocol: layer2
      addresses:
      - 192.168.10.170-192.168.10.200
[root@master ~]#kubectl apply -f Metallb.ip.yaml

BGP 类型参考官方文档：链接

2.4 测试效果

现在部署一个 Nginx 看看效果

[root@master ~]#vim Nginx-test.yaml
[root@master ~]#cat Nginx-test.yaml
apiVersion: apps/v1
kind: Deployment
Metadata:
  name: Nginx-Metallb-test
spec:
  selector:
    matchLabels:
      app: Nginx-Metallb-test
  template:
    Metadata:
      labels:
        app: Nginx-Metallb-test
    spec:
      containers:
      - name: Nginx
        image: Nginx:1.8
        ports:
        - name: http
          containerPort: 80

---
apiVersion: v1
kind: Service
Metadata:
  name: Nginx-service
spec:
  ports:
  - name: http
    port: 80
    protocol: TCP
    targetPort: 80
  selector:
    app: Nginx-Metallb-test
  type: LoadBalancer

[root@master ~]#kubectl apply -f Nginx-test.yaml 
deployment.apps/Nginx-Metallb-test created
service/Nginx-service created

上面声明的 Service 的类型为 LoadBalancer，无其他特殊设置。

[root@master ~]#kubectl get svc -o wide
NAME            TYPE           CLUSTER-IP     EXTERNAL-IP      PORT(S)        AGE   SELECTOR
kubernetes      ClusterIP      10.96.0.1      <none>           443/TCP        9d    <none>
Nginx-service   LoadBalancer   10.96.158.55   192.168.10.170   80:31083/TCP   70s   app=Nginx-Metallb-test

打开浏览器，访问 EXTERNAL-IP 即可访问 Nginx：http://192.168.10.170
如果是正式环境，则使用 DNS 解析到此 IP，使用域名访问服务即可
如果有多个服务，可以使用 Nginx Ingress 来通过域名和路径区分不同的服务

3. Ingress

K8S ingress v1.1.3 部署