k3s使用traefik

实在想不到一个好的标题了。

在《k8s小试牛刀》中，提到过没有使用Ingress的原因。因为我只有一个服务器，并且有很多服务不是部署在k8s中。采用NodePort暴露服务+Nginx反向代理的方式，能够简单粗暴的满足我的需求。

但是总有点不满足，既然玩k8s，就应该玩全套的。所以，一番折腾，还是改造为Ingress作为流量入口。并不是因为这种方式更好，纯粹是为了好玩。

首先，我有很多服务是原生的。所以，第一步是使用服务映射，将本地服务映射到k8s中。举个Redis例子

apiVersion: v1
kind: Service
metadata:
  name: redis-svc
  namespace: k3s-apps
spec:
  type: NodePort
  ports:
  - port: 7379
    nodePort: 30160
    targetPort: 7379
---
apiVersion: v1
kind: Endpoints
metadata:
  name: redis-svc
  namespace: k3s-apps
subsets:
  - addresses:
      - ip: 10.8.77.119
    ports:
      - port: 7379

用这种方式，将我们所有外部服务映射到k8s中。然后，改造Mu项目中的代码。因为k8s中的服务是可以直接通过名字解析的，所以我们将配置文件中，原先的MySQL，Redis服务器，改成k8s中的服务名。

接着，我们就可以开始使用Ingress来逐步替换传统Nginx的方式了。

traefik

k3s出厂自带了traefik组件，采用的是traefik 1.7版本，现在都2.0+版本了，新增了很多新特性。所以，我们禁用掉旧版本

# 初次安装，采用如下方式
$ curl -sfL https://get.k3s.io | sh -s - --disable=traefik
# 已经安装了，修改/etc/systemd/system/k3s.service
# ExecStart=/usr/local/bin/k3s \
#    server \
#        '--disable' \
#        'traefik'
$ systemctl daemon-reload
$ service k3s restart

介绍

traefik是一个边缘路由。和其他路由一样，接管请求，然后指向服务。它的特别之处在于，采用服务发现的方式自动配置服务路由。当它发现基础设施中服务的配置信息后，就自动配置对应的路由。反之服务移除亦然。

它有几个核心概念

1、Providers

traefik支持多种基础设施中的服务自动发现，例如，k8s，Docker，Swarm等。那么它是怎么做到支持这么多不同的环境的呢？答案就是Providers。不同的Provider实现对不同的基础设施中服务的发现等。如果你的基础设施比较特殊，那么还有File Provider这种传统的文件配置方式，来支持手动暴露服务。

2、Endpoints

k8s中Endpoints指的是最终的服务落地点，例如，一个Pod。在traefik中，它是集群的流量入口。就像Nginx中，所有的请求进来都会走80或者443这两个端口。traefik中所有的请求进来，都会走Endpoints。

3、Routes

路由规则。流量经过Endpoints后，就会进行路由匹配。匹配到一条Route后，就会走向对应的逻辑。Route支持多种匹配规则

Headers(key, value)
Host(example.com, …)
Method(GET, …)
Path(/path, /articles/{cat:[a-z]+}/{id:[0-9]+}, …)
etc

按照常规思路，Route肯定也是支持中间件处理的。

4、Services

流量经过Routes匹配后，就会走到对应的Services。Services定义了怎么访问我们实际的后端服务。

5、Middlwares

中间件。可以转发http至https，增加认证等等。具体可以看官方提供的中间件。

看完上面的介绍，就很好理解它的架构了

其他详细内容，请参考官方文档。

k3s中部署

k8s官方定义了Ingress和IngressController资源对象让外部环境访问集群内部的服务，它是k8s中的标准。通常，厂商实现自己的IngressController，然后用户就可以使用它来配置Ingress了。常见的代理服务器都有对应的IngressController，例如，Nginx和HaProxy等。

traefik以前也是按照IngressController标准来进行处理的。但是，官方在调研社区的需求后，觉得IngressController方式没办法充分使用到traefik的特性。于是，他们通过CRD(Custom Resource Definition)方式，定义了一套新的配置方式。也就是今天的主角IngressRoute。

首先，在k3s集群中，安装traefik的全部crd。可以按需安装，我这里安装了全部的定义

apiVersion: apiextensions.k8s.io/v1beta1
kind: CustomResourceDefinition
metadata:
  name: ingressroutes.traefik.containo.us
spec:
  group: traefik.containo.us
  version: v1alpha1
  names:
    kind: IngressRoute
    plural: ingressroutes
    singular: ingressroute
  scope: Namespaced
---
apiVersion: apiextensions.k8s.io/v1beta1
kind: CustomResourceDefinition
metadata:
  name: middlewares.traefik.containo.us
spec:
  group: traefik.containo.us
  version: v1alpha1
  names:
    kind: Middleware
    plural: middlewares
    singular: middleware
  scope: Namespaced
---
apiVersion: apiextensions.k8s.io/v1beta1
kind: CustomResourceDefinition
metadata:
  name: ingressroutetcps.traefik.containo.us
spec:
  group: traefik.containo.us
  version: v1alpha1
  names:
    kind: IngressRouteTCP
    plural: ingressroutetcps
    singular: ingressroutetcp
  scope: Namespaced
---
apiVersion: apiextensions.k8s.io/v1beta1
kind: CustomResourceDefinition
metadata:
  name: ingressrouteudps.traefik.containo.us
spec:
  group: traefik.containo.us
  version: v1alpha1
  names:
    kind: IngressRouteUDP
    plural: ingressrouteudps
    singular: ingressrouteudp
  scope: Namespaced
---
apiVersion: apiextensions.k8s.io/v1beta1
kind: CustomResourceDefinition
metadata:
  name: tlsoptions.traefik.containo.us
spec:
  group: traefik.containo.us
  version: v1alpha1
  names:
    kind: TLSOption
    plural: tlsoptions
    singular: tlsoption
  scope: Namespaced
---
apiVersion: apiextensions.k8s.io/v1beta1
kind: CustomResourceDefinition
metadata:
  name: tlsstores.traefik.containo.us
spec:
  group: traefik.containo.us
  version: v1alpha1
  names:
    kind: TLSStore
    plural: tlsstores
    singular: tlsstore
  scope: Namespaced
---
apiVersion: apiextensions.k8s.io/v1beta1
kind: CustomResourceDefinition
metadata:
  name: traefikservices.traefik.containo.us
spec:
  group: traefik.containo.us
  version: v1alpha1
  names:
    kind: TraefikService
    plural: traefikservices
    singular: traefikservice
  scope: Namespaced
---
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1beta1
metadata:
  name: traefik-ingress-controller
rules:
  - apiGroups:
      - ""
    resources:
      - services
      - endpoints
      - secrets
    verbs:
      - get
      - list
      - watch
  - apiGroups:
      - extensions
    resources:
      - ingresses
    verbs:
      - get
      - list
      - watch
  - apiGroups:
      - extensions
    resources:
      - ingresses/status
    verbs:
      - update
  - apiGroups:
      - traefik.containo.us
    resources:
      - middlewares
      - ingressroutes
      - traefikservices
      - ingressroutetcps
      - ingressrouteudps
      - tlsoptions
      - tlsstores
    verbs:
      - get
      - list
      - watch
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1beta1
metadata:
  name: traefik-ingress-controller
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: traefik-ingress-controller
subjects:
  - kind: ServiceAccount
    name: traefik-ingress-controller
    namespace: default

接着，部署traefik实例

# svc对外暴露了3个端口，80和443是集群的服务入口，8080是web ui的入口
apiVersion: v1
kind: Service
metadata:
 name: traefik
spec:
 ports:
 - protocol: TCP
   name: web
   port: 80
 - protocol: TCP
   name: admin
   port: 8080
 - protocol: TCP
   name: websecure
   port: 443
 type: LoadBalancer
 selector:
  app: traefik
---
apiVersion: v1
kind: ServiceAccount
metadata:
 namespace: default
 name: traefik-ingress-controller
---
apiVersion: apps/v1
kind: Deployment
metadata:
  namespace: default
  name: traefik
  labels:
    app: traefik
spec:
  replicas: 1
  selector:
    matchLabels:
      app: traefik
  template:
    metadata:
      labels:
        app: traefik
    spec:
      serviceAccountName: traefik-ingress-controller
      containers:
       - name: traefik
         image: traefik:v2.2
         args:
            - --api.insecure
            - --accesslog
            - --entrypoints.web.Address=:80 # endpoints: web
            - --entrypoints.websecure.Address=:443 # endpoints: websecure
            - --providers.kubernetescrd # 定义provider为k8s crd
         ports:
            - name: web
              containerPort: 80
            - name: websecure
              containerPort: 443
            - name: admin
              containerPort: 8080

如上，我们就将traefik部署到k3s中了。研究crd文件，我们可以看到它定义了如下几种资源

IngressRoute
IngressRouteTCP
IngressRouteUDP
Middleware
TLSOption
TLSStore
TraefikService

具体各个代表什么意思，可以上官网文档查看。核心是IngressRoute，它定义了具体的路由规则，怎么访问我们的集群服务。

暴露一个服务

先看看grafana服务定义，它是linux原生安装的，所以我做了一次映射

apiVersion: v1
kind: Service
metadata:
  name: grafana-svc
  namespace: k3s-apps
spec:
  type: ClusterIP
  ports:
  - port: 80
    targetPort: 9898
---
apiVersion: v1
kind: Endpoints
metadata:
  name: grafana-svc
  namespace: k3s-apps
subsets:
  - addresses:
      - ip: 10.8.77.119
    ports:
      - port: 9898

然后，配置IngressRoute

apiVersion: traefik.containo.us/v1alpha1
kind: IngressRoute
metadata:
  name: grafana-route-http
  namespace: traefik
spec:
  entryPoints:
    - web
  routes:
  - match: Host(`grafana.memosa.cn`)
    kind: Rule
    middlewares:
    - name: redirect-https-mw
    services:
    - name: grafana-svc
      namespace: log-stack
      port: 80
---
apiVersion: traefik.containo.us/v1alpha1
kind: IngressRoute
metadata:
  name: grafana-route-https
  namespace: traefik
spec:
  entryPoints:
    - websecure
  routes:
  - match: Host(`grafana.memosa.cn`)
    kind: Rule
    services:
    - kind: Service
      name: grafana-svc
      namespace: log-stack
      port: 80
  tls:
    secretName: tls-memosa-cn

如上。配置了两条路由，http和https。然后，http使用中间件跳转到https。当执行完kubectl apply后，就可以打开浏览器访问到grafana了。就是这么简单。

如上的配置有一个小瑕疵。我的证书采用外挂secret的方式。traefik是支持Let's Encryt证书自动更新的。所以，下一步就是优化这块的配置。

其他的IngressRoute也是如此配置。全套下来，也不是很复杂。来一张traefik界面的图

最后，为了究极贯彻开源精神，建了个仓库，分享自己当前所有的k3s配置。也包括本文所介绍的内容。

参考资料