k3s使用traefik
实在想不到一个好的标题了。
在《k8s小试牛刀》中,提到过没有使用Ingress
的原因。因为我只有一个服务器,并且有很多服务不是部署在k8s中。采用NodePort暴露服务+Nginx反向代理的方式,能够简单粗暴的满足我的需求。
但是总有点不满足,既然玩k8s,就应该玩全套的。所以,一番折腾,还是改造为Ingress
作为流量入口。并不是因为这种方式更好,纯粹是为了好玩。
首先,我有很多服务是原生的。所以,第一步是使用服务映射,将本地服务映射到k8s中。举个Redis例子
apiVersion: v1
kind: Service
metadata:
name: redis-svc
namespace: k3s-apps
spec:
type: NodePort
ports:
- port: 7379
nodePort: 30160
targetPort: 7379
---
apiVersion: v1
kind: Endpoints
metadata:
name: redis-svc
namespace: k3s-apps
subsets:
- addresses:
- ip: 10.8.77.119
ports:
- port: 7379
用这种方式,将我们所有外部服务映射到k8s中。然后,改造Mu
项目中的代码。因为k8s中的服务是可以直接通过名字解析的,所以我们将配置文件中,原先的MySQL,Redis服务器,改成k8s中的服务名。
接着,我们就可以开始使用Ingress
来逐步替换传统Nginx的方式了。
traefik
k3s出厂自带了traefik组件,采用的是traefik 1.7
版本,现在都2.0+版本了,新增了很多新特性。所以,我们禁用掉旧版本
# 初次安装,采用如下方式
$ curl -sfL https://get.k3s.io | sh -s - --disable=traefik
# 已经安装了,修改/etc/systemd/system/k3s.service
# ExecStart=/usr/local/bin/k3s \
# server \
# '--disable' \
# 'traefik'
$ systemctl daemon-reload
$ service k3s restart
介绍
traefik
是一个边缘路由。和其他路由一样,接管请求,然后指向服务。它的特别之处在于,采用服务发现的方式自动配置服务路由。当它发现基础设施中服务的配置信息后,就自动配置对应的路由。反之服务移除亦然。
它有几个核心概念
1、Providers
traefik
支持多种基础设施中的服务自动发现,例如,k8s,Docker,Swarm等。那么它是怎么做到支持这么多不同的环境的呢?答案就是Providers
。不同的Provider
实现对不同的基础设施中服务的发现等。如果你的基础设施比较特殊,那么还有File Provider
这种传统的文件配置方式,来支持手动暴露服务。
2、Endpoints
k8s中Endpoints
指的是最终的服务落地点,例如,一个Pod。在traefik
中,它是集群的流量入口。就像Nginx中,所有的请求进来都会走80或者443这两个端口。traefik
中所有的请求进来,都会走Endpoints
。
3、Routes
路由规则。流量经过Endpoints
后,就会进行路由匹配。匹配到一条Route
后,就会走向对应的逻辑。Route
支持多种匹配规则
- Headers(
key
,value
) - Host(
example.com
, …) - Method(
GET
, …) - Path(
/path
,/articles/{cat:[a-z]+}/{id:[0-9]+}
, …) - etc
按照常规思路,Route
肯定也是支持中间件处理的。
4、Services
流量经过Routes
匹配后,就会走到对应的Services
。Services
定义了怎么访问我们实际的后端服务。
5、Middlwares
中间件。可以转发http至https,增加认证等等。具体可以看官方提供的中间件。
看完上面的介绍,就很好理解它的架构了
其他详细内容,请参考官方文档。
k3s中部署
k8s官方定义了Ingress
和IngressController
资源对象让外部环境访问集群内部的服务,它是k8s中的标准。通常,厂商实现自己的IngressController
,然后用户就可以使用它来配置Ingress
了。常见的代理服务器都有对应的IngressController
,例如,Nginx和HaProxy等。
traefik
以前也是按照IngressController
标准来进行处理的。但是,官方在调研社区的需求后,觉得IngressController
方式没办法充分使用到traefik
的特性。于是,他们通过CRD(Custom Resource Definition)方式,定义了一套新的配置方式。也就是今天的主角IngressRoute
。
首先,在k3s集群中,安装traefik
的全部crd。可以按需安装,我这里安装了全部的定义
apiVersion: apiextensions.k8s.io/v1beta1
kind: CustomResourceDefinition
metadata:
name: ingressroutes.traefik.containo.us
spec:
group: traefik.containo.us
version: v1alpha1
names:
kind: IngressRoute
plural: ingressroutes
singular: ingressroute
scope: Namespaced
---
apiVersion: apiextensions.k8s.io/v1beta1
kind: CustomResourceDefinition
metadata:
name: middlewares.traefik.containo.us
spec:
group: traefik.containo.us
version: v1alpha1
names:
kind: Middleware
plural: middlewares
singular: middleware
scope: Namespaced
---
apiVersion: apiextensions.k8s.io/v1beta1
kind: CustomResourceDefinition
metadata:
name: ingressroutetcps.traefik.containo.us
spec:
group: traefik.containo.us
version: v1alpha1
names:
kind: IngressRouteTCP
plural: ingressroutetcps
singular: ingressroutetcp
scope: Namespaced
---
apiVersion: apiextensions.k8s.io/v1beta1
kind: CustomResourceDefinition
metadata:
name: ingressrouteudps.traefik.containo.us
spec:
group: traefik.containo.us
version: v1alpha1
names:
kind: IngressRouteUDP
plural: ingressrouteudps
singular: ingressrouteudp
scope: Namespaced
---
apiVersion: apiextensions.k8s.io/v1beta1
kind: CustomResourceDefinition
metadata:
name: tlsoptions.traefik.containo.us
spec:
group: traefik.containo.us
version: v1alpha1
names:
kind: TLSOption
plural: tlsoptions
singular: tlsoption
scope: Namespaced
---
apiVersion: apiextensions.k8s.io/v1beta1
kind: CustomResourceDefinition
metadata:
name: tlsstores.traefik.containo.us
spec:
group: traefik.containo.us
version: v1alpha1
names:
kind: TLSStore
plural: tlsstores
singular: tlsstore
scope: Namespaced
---
apiVersion: apiextensions.k8s.io/v1beta1
kind: CustomResourceDefinition
metadata:
name: traefikservices.traefik.containo.us
spec:
group: traefik.containo.us
version: v1alpha1
names:
kind: TraefikService
plural: traefikservices
singular: traefikservice
scope: Namespaced
---
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1beta1
metadata:
name: traefik-ingress-controller
rules:
- apiGroups:
- ""
resources:
- services
- endpoints
- secrets
verbs:
- get
- list
- watch
- apiGroups:
- extensions
resources:
- ingresses
verbs:
- get
- list
- watch
- apiGroups:
- extensions
resources:
- ingresses/status
verbs:
- update
- apiGroups:
- traefik.containo.us
resources:
- middlewares
- ingressroutes
- traefikservices
- ingressroutetcps
- ingressrouteudps
- tlsoptions
- tlsstores
verbs:
- get
- list
- watch
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1beta1
metadata:
name: traefik-ingress-controller
roleRef:
apiGroup: rbac.authorization.k8s.io
kind: ClusterRole
name: traefik-ingress-controller
subjects:
- kind: ServiceAccount
name: traefik-ingress-controller
namespace: default
接着,部署traefik
实例
# svc对外暴露了3个端口,80和443是集群的服务入口,8080是web ui的入口
apiVersion: v1
kind: Service
metadata:
name: traefik
spec:
ports:
- protocol: TCP
name: web
port: 80
- protocol: TCP
name: admin
port: 8080
- protocol: TCP
name: websecure
port: 443
type: LoadBalancer
selector:
app: traefik
---
apiVersion: v1
kind: ServiceAccount
metadata:
namespace: default
name: traefik-ingress-controller
---
apiVersion: apps/v1
kind: Deployment
metadata:
namespace: default
name: traefik
labels:
app: traefik
spec:
replicas: 1
selector:
matchLabels:
app: traefik
template:
metadata:
labels:
app: traefik
spec:
serviceAccountName: traefik-ingress-controller
containers:
- name: traefik
image: traefik:v2.2
args:
- --api.insecure
- --accesslog
- --entrypoints.web.Address=:80 # endpoints: web
- --entrypoints.websecure.Address=:443 # endpoints: websecure
- --providers.kubernetescrd # 定义provider为k8s crd
ports:
- name: web
containerPort: 80
- name: websecure
containerPort: 443
- name: admin
containerPort: 8080
如上,我们就将traefik
部署到k3s中了。研究crd文件,我们可以看到它定义了如下几种资源
- IngressRoute
- IngressRouteTCP
- IngressRouteUDP
- Middleware
- TLSOption
- TLSStore
- TraefikService
具体各个代表什么意思,可以上官网文档查看。核心是IngressRoute
,它定义了具体的路由规则,怎么访问我们的集群服务。
暴露一个服务
先看看grafana
服务定义,它是linux原生安装的,所以我做了一次映射
apiVersion: v1
kind: Service
metadata:
name: grafana-svc
namespace: k3s-apps
spec:
type: ClusterIP
ports:
- port: 80
targetPort: 9898
---
apiVersion: v1
kind: Endpoints
metadata:
name: grafana-svc
namespace: k3s-apps
subsets:
- addresses:
- ip: 10.8.77.119
ports:
- port: 9898
然后,配置IngressRoute
apiVersion: traefik.containo.us/v1alpha1
kind: IngressRoute
metadata:
name: grafana-route-http
namespace: traefik
spec:
entryPoints:
- web
routes:
- match: Host(`grafana.memosa.cn`)
kind: Rule
middlewares:
- name: redirect-https-mw
services:
- name: grafana-svc
namespace: log-stack
port: 80
---
apiVersion: traefik.containo.us/v1alpha1
kind: IngressRoute
metadata:
name: grafana-route-https
namespace: traefik
spec:
entryPoints:
- websecure
routes:
- match: Host(`grafana.memosa.cn`)
kind: Rule
services:
- kind: Service
name: grafana-svc
namespace: log-stack
port: 80
tls:
secretName: tls-memosa-cn
如上。配置了两条路由,http和https。然后,http使用中间件跳转到https。当执行完kubectl apply
后,就可以打开浏览器访问到grafana了。就是这么简单。
如上的配置有一个小瑕疵。我的证书采用外挂secret的方式。traefik
是支持Let's Encryt
证书自动更新的。所以,下一步就是优化这块的配置。
其他的IngressRoute
也是如此配置。全套下来,也不是很复杂。来一张traefik
界面的图
最后,为了究极贯彻开源精神,建了个仓库,分享自己当前所有的k3s配置。也包括本文所介绍的内容。
参考资料
··· 完 ···
版权声明: 本博客所有文章除特别声明外,均采用CC BY-NC-SA 3.0许可协议,转载请注明出处。