实在想不到一个好的标题了。

《k8s小试牛刀》中,提到过没有使用Ingress的原因。因为我只有一个服务器,并且有很多服务不是部署在k8s中。采用NodePort暴露服务+Nginx反向代理的方式,能够简单粗暴的满足我的需求。

但是总有点不满足,既然玩k8s,就应该玩全套的。所以,一番折腾,还是改造为Ingress作为流量入口。并不是因为这种方式更好,纯粹是为了好玩。

首先,我有很多服务是原生的。所以,第一步是使用服务映射,将本地服务映射到k8s中。举个Redis例子

apiVersion: v1
kind: Service
metadata:
  name: redis-svc
  namespace: k3s-apps
spec:
  type: NodePort
  ports:
  - port: 7379
    nodePort: 30160
    targetPort: 7379
---
apiVersion: v1
kind: Endpoints
metadata:
  name: redis-svc
  namespace: k3s-apps
subsets:
  - addresses:
      - ip: 10.8.77.119
    ports:
      - port: 7379

用这种方式,将我们所有外部服务映射到k8s中。然后,改造Mu项目中的代码。因为k8s中的服务是可以直接通过名字解析的,所以我们将配置文件中,原先的MySQL,Redis服务器,改成k8s中的服务名。

接着,我们就可以开始使用Ingress来逐步替换传统Nginx的方式了。

traefik

k3s出厂自带了traefik组件,采用的是traefik 1.7版本,现在都2.0+版本了,新增了很多新特性。所以,我们禁用掉旧版本

# 初次安装,采用如下方式
$ curl -sfL https://get.k3s.io | sh -s - --disable=traefik
# 已经安装了,修改/etc/systemd/system/k3s.service
# ExecStart=/usr/local/bin/k3s \
#    server \
#        '--disable' \
#        'traefik'
$ systemctl daemon-reload
$ service k3s restart

介绍

traefik是一个边缘路由。和其他路由一样,接管请求,然后指向服务。它的特别之处在于,采用服务发现的方式自动配置服务路由。当它发现基础设施中服务的配置信息后,就自动配置对应的路由。反之服务移除亦然。

它有几个核心概念

1、Providers

traefik支持多种基础设施中的服务自动发现,例如,k8s,Docker,Swarm等。那么它是怎么做到支持这么多不同的环境的呢?答案就是Providers。不同的Provider实现对不同的基础设施中服务的发现等。如果你的基础设施比较特殊,那么还有File Provider这种传统的文件配置方式,来支持手动暴露服务。

2、Endpoints

k8s中Endpoints指的是最终的服务落地点,例如,一个Pod。在traefik中,它是集群的流量入口。就像Nginx中,所有的请求进来都会走80或者443这两个端口。traefik中所有的请求进来,都会走Endpoints

3、Routes

路由规则。流量经过Endpoints后,就会进行路由匹配。匹配到一条Route后,就会走向对应的逻辑。Route支持多种匹配规则

  • Headers(key, value)
  • Host(example.com, …)
  • Method(GET, …)
  • Path(/path, /articles/{cat:[a-z]+}/{id:[0-9]+}, …)
  • etc

按照常规思路,Route肯定也是支持中间件处理的。

4、Services

流量经过Routes匹配后,就会走到对应的ServicesServices定义了怎么访问我们实际的后端服务。

5、Middlwares

中间件。可以转发http至https,增加认证等等。具体可以看官方提供的中间件。

看完上面的介绍,就很好理解它的架构了

img

其他详细内容,请参考官方文档

k3s中部署

k8s官方定义了IngressIngressController资源对象让外部环境访问集群内部的服务,它是k8s中的标准。通常,厂商实现自己的IngressController,然后用户就可以使用它来配置Ingress了。常见的代理服务器都有对应的IngressController,例如,Nginx和HaProxy等。

traefik以前也是按照IngressController标准来进行处理的。但是,官方在调研社区的需求后,觉得IngressController方式没办法充分使用到traefik的特性。于是,他们通过CRD(Custom Resource Definition)方式,定义了一套新的配置方式。也就是今天的主角IngressRoute

首先,在k3s集群中,安装traefik的全部crd。可以按需安装,我这里安装了全部的定义

apiVersion: apiextensions.k8s.io/v1beta1
kind: CustomResourceDefinition
metadata:
  name: ingressroutes.traefik.containo.us
spec:
  group: traefik.containo.us
  version: v1alpha1
  names:
    kind: IngressRoute
    plural: ingressroutes
    singular: ingressroute
  scope: Namespaced
---
apiVersion: apiextensions.k8s.io/v1beta1
kind: CustomResourceDefinition
metadata:
  name: middlewares.traefik.containo.us
spec:
  group: traefik.containo.us
  version: v1alpha1
  names:
    kind: Middleware
    plural: middlewares
    singular: middleware
  scope: Namespaced
---
apiVersion: apiextensions.k8s.io/v1beta1
kind: CustomResourceDefinition
metadata:
  name: ingressroutetcps.traefik.containo.us
spec:
  group: traefik.containo.us
  version: v1alpha1
  names:
    kind: IngressRouteTCP
    plural: ingressroutetcps
    singular: ingressroutetcp
  scope: Namespaced
---
apiVersion: apiextensions.k8s.io/v1beta1
kind: CustomResourceDefinition
metadata:
  name: ingressrouteudps.traefik.containo.us
spec:
  group: traefik.containo.us
  version: v1alpha1
  names:
    kind: IngressRouteUDP
    plural: ingressrouteudps
    singular: ingressrouteudp
  scope: Namespaced
---
apiVersion: apiextensions.k8s.io/v1beta1
kind: CustomResourceDefinition
metadata:
  name: tlsoptions.traefik.containo.us
spec:
  group: traefik.containo.us
  version: v1alpha1
  names:
    kind: TLSOption
    plural: tlsoptions
    singular: tlsoption
  scope: Namespaced
---
apiVersion: apiextensions.k8s.io/v1beta1
kind: CustomResourceDefinition
metadata:
  name: tlsstores.traefik.containo.us
spec:
  group: traefik.containo.us
  version: v1alpha1
  names:
    kind: TLSStore
    plural: tlsstores
    singular: tlsstore
  scope: Namespaced
---
apiVersion: apiextensions.k8s.io/v1beta1
kind: CustomResourceDefinition
metadata:
  name: traefikservices.traefik.containo.us
spec:
  group: traefik.containo.us
  version: v1alpha1
  names:
    kind: TraefikService
    plural: traefikservices
    singular: traefikservice
  scope: Namespaced
---
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1beta1
metadata:
  name: traefik-ingress-controller
rules:
  - apiGroups:
      - ""
    resources:
      - services
      - endpoints
      - secrets
    verbs:
      - get
      - list
      - watch
  - apiGroups:
      - extensions
    resources:
      - ingresses
    verbs:
      - get
      - list
      - watch
  - apiGroups:
      - extensions
    resources:
      - ingresses/status
    verbs:
      - update
  - apiGroups:
      - traefik.containo.us
    resources:
      - middlewares
      - ingressroutes
      - traefikservices
      - ingressroutetcps
      - ingressrouteudps
      - tlsoptions
      - tlsstores
    verbs:
      - get
      - list
      - watch
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1beta1
metadata:
  name: traefik-ingress-controller
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: traefik-ingress-controller
subjects:
  - kind: ServiceAccount
    name: traefik-ingress-controller
    namespace: default

接着,部署traefik实例

# svc对外暴露了3个端口,80和443是集群的服务入口,8080是web ui的入口
apiVersion: v1
kind: Service
metadata:
 name: traefik
spec:
 ports:
 - protocol: TCP
   name: web
   port: 80
 - protocol: TCP
   name: admin
   port: 8080
 - protocol: TCP
   name: websecure
   port: 443
 type: LoadBalancer
 selector:
  app: traefik
---
apiVersion: v1
kind: ServiceAccount
metadata:
 namespace: default
 name: traefik-ingress-controller
---
apiVersion: apps/v1
kind: Deployment
metadata:
  namespace: default
  name: traefik
  labels:
    app: traefik
spec:
  replicas: 1
  selector:
    matchLabels:
      app: traefik
  template:
    metadata:
      labels:
        app: traefik
    spec:
      serviceAccountName: traefik-ingress-controller
      containers:
       - name: traefik
         image: traefik:v2.2
         args:
            - --api.insecure
            - --accesslog
            - --entrypoints.web.Address=:80 # endpoints: web
            - --entrypoints.websecure.Address=:443 # endpoints: websecure
            - --providers.kubernetescrd # 定义provider为k8s crd
         ports:
            - name: web
              containerPort: 80
            - name: websecure
              containerPort: 443
            - name: admin
              containerPort: 8080

如上,我们就将traefik部署到k3s中了。研究crd文件,我们可以看到它定义了如下几种资源

  • IngressRoute
  • IngressRouteTCP
  • IngressRouteUDP
  • Middleware
  • TLSOption
  • TLSStore
  • TraefikService

具体各个代表什么意思,可以上官网文档查看。核心是IngressRoute,它定义了具体的路由规则,怎么访问我们的集群服务。

暴露一个服务

先看看grafana服务定义,它是linux原生安装的,所以我做了一次映射

apiVersion: v1
kind: Service
metadata:
  name: grafana-svc
  namespace: k3s-apps
spec:
  type: ClusterIP
  ports:
  - port: 80
    targetPort: 9898
---
apiVersion: v1
kind: Endpoints
metadata:
  name: grafana-svc
  namespace: k3s-apps
subsets:
  - addresses:
      - ip: 10.8.77.119
    ports:
      - port: 9898

然后,配置IngressRoute

apiVersion: traefik.containo.us/v1alpha1
kind: IngressRoute
metadata:
  name: grafana-route-http
  namespace: traefik
spec:
  entryPoints:
    - web
  routes:
  - match: Host(`grafana.memosa.cn`)
    kind: Rule
    middlewares:
    - name: redirect-https-mw
    services:
    - name: grafana-svc
      namespace: log-stack
      port: 80
---
apiVersion: traefik.containo.us/v1alpha1
kind: IngressRoute
metadata:
  name: grafana-route-https
  namespace: traefik
spec:
  entryPoints:
    - websecure
  routes:
  - match: Host(`grafana.memosa.cn`)
    kind: Rule
    services:
    - kind: Service
      name: grafana-svc
      namespace: log-stack
      port: 80
  tls:
    secretName: tls-memosa-cn

如上。配置了两条路由,http和https。然后,http使用中间件跳转到https。当执行完kubectl apply后,就可以打开浏览器访问到grafana了。就是这么简单。

如上的配置有一个小瑕疵。我的证书采用外挂secret的方式。traefik是支持Let's Encryt证书自动更新的。所以,下一步就是优化这块的配置。

其他的IngressRoute也是如此配置。全套下来,也不是很复杂。来一张traefik界面的图

img

最后,为了究极贯彻开源精神,建了个仓库,分享自己当前所有的k3s配置。也包括本文所介绍的内容。

参考资料