vSphere配置与版本要求
ESXi 7.0 Update 2
vCenter Server 7.0 Update 2
NSX-T，无
网络的规划
按照规划需要三条网络，这三条网络对应分布式交换机上的三个Portgroup。
从IP规划上来看，Management、Workload、Frontend分别对应192.168.2.0/24、192.168.3.0/24和192.168.4.0/24三个网络。并且三个网络是可路由的，在本次PoC中使用vyos的虚拟路由器，在虚拟路由器上创建这三个网络，并且配置DNS转发和上行外网连通。
管理网络：
用于ESXi、VC、Tanzu管理组件（Supervisor Cluster）以及各类AD、DNS、HAProxy等组件。
vSphere with Tanzu的SupervisorCluster会包含这个管理网的地址，同时也有分配Workload网络的地址。
Workload网络：
创建TKG Cluster时，需要创建K8S Master和Nodes，这些节点使用到Worklaod网络，但需要注意的是，Master和Nodes上运行的Pods的IP地址是可以在创建TKG Cluster时制定的。
Frontend网络：
这个网络可以理解为TKG Cluster的Master、Nodes是一套网络，但是内部网络创建的Pods如果需要对外提供服务，那么就需要把Pod的流量映射到外部网络。一般情况下，Workload和Frontend网络可以共用一套，但是也可以分开规划。
本次PoC使用192.168.4.111/24作为HAProxy在Frontend网络上的地址。
用作Loadbalancer的网段是：192.168.4.208/28，从.208开始这16个地址就是Tanzu Cluster对外发布服务的地址。
HAProxy
HAProxy横跨在三个网络上。确保能被VC管理和调度服务，也能确保运行在Workload网段的TKG Cluster的Master和Nodes能够通过HAProxy的Frontent网络对暴露服务。
启用主管集群
在vSphere Web Client界面上启用工作负载管理。
本次测试使用HAProxy，故不涉及NSX-T的内容。
在启用界面上，依次输入管理网络的配置、负载均衡网络的配置等信息。
主管集群创建完毕后，通过一个LB的地址对外提供服务。
在Linux或Windows主机上安装Tanzu相关的Client程序，可以访问到这个这个Supervisor Cluster。
注意：默认administrator@vsphere.local没有操作TKG Cluster创建Pod的权限，需要添加rolebinding。参考官方文档，搜索PSP这一页。
创建并使用TKG集群
创建完成Supervisor Cluster之后，由于没有NSX-T所以无法直接创建vSphere pod。因此最佳的使用方式是创建TKG Cluster，这是一个独立的VMware打包好的K8S一整天东西，可以按需部署所需的TKG版本。注意这些全都是命令行。
连接到Tanzu Supervisor Cluster
kubectl-vsphere login --vsphere-username administrator@vsphere.local --server=192.168.4.208 --insecure-skip-tls-verify --tanzu-kubernetes-cluster-namespace=devops --tanzu-kubernetes-cluster-name=dev-cluster
切换到命名空间并创建TKG Cluster
# 切换到devops这个namespace
kubectl config use-context devops
# 创建K8S版本为10.20.9的TKG Cluster，并且定义Master=1，Node=2
apiVersion: run.tanzu.vmware.com/v1alpha1
kind: TanzuKubernetesCluster
metadata:
name: dev-cluster
namespace: devops
spec:
topology:
controlPlane:
count: 1
class: best-effort-xsmall
storageClass: vmw-k8s
workers:
count: 2
class: best-effort-xsmall
storageClass: vmw-k8s
distribution:
version: v1.20.9
settings:
network:
cni:
name: antrea
services:
cidrBlocks: ["80.0.0.0/16"]
pods:
cidrBlocks: ["90.0.0.0/16"]
使用Tanzu环境并部署应用
连接到TKG Cluster并且使用这个cluster
root@photon-machine [ ~ ]# kubectl-vsphere login --vsphere-username administrator@vsphere.local --server=192.168.4.208 --insecure-skip-tls-verify --tanzu-kubernetes-cluster-namespace=devops --tanzu-kubernetes-cluster-name=dev-cluster
KUBECTL_VSPHERE_PASSWORD environment variable is not set. Please enter the password below
Password:
Logged in successfully.
You have access to the following contexts:
192.168.4.208
dev-cluster
devops
test
test-ns
If the context you wish to use is not in this list, you may need to try
logging in again later, or contact your cluster administrator.
To change context, use `kubectl config use-context <workload name>`
root@photon-machine [ ~ ]# kubectl config use-context dev-cluster
Switched to context "dev-cluster".
root@photon-machine [ ~ ]# kubectl get nodes
NAME STATUS ROLES AGE VERSION
dev-cluster-control-plane-mc52q Ready control-plane,master 41h v1.20.9+vmware.1
dev-cluster-workers-hwdml-6864fbc4b9-nkpfz Ready <none> 41h v1.20.9+vmware.1
创建包含Web服务器的Deployment
# Web Server的Deployment yaml文件如下
apiVersion: apps/v1
kind: Deployment
metadata:
name: nginx-deployment
spec:
selector:
matchLabels:
app: nginx
replicas: 2
template:
metadata:
labels:
app: nginx
spec:
containers:
- name: nginx
image: nginx
ports:
- containerPort: 80
执行命令创建，并查看可以正常运行，label的设置为app=nginx
root@photon-machine [ /usr/local/bin ]# kubectl apply -f nginx-deployment.yaml
root@photon-machine [ /usr/local/bin ]# kubectl get deployment -o wide
NAME READY UP-TO-DATE AVAILABLE AGE CONTAINERS IMAGES SELECTOR
nginx-deployment 2/2 2 2 24h nginx nginx app=nginx
创建服务，制定为Loadbalancer，把这个web服务发布到外网。服务的yaml文件如下所示。
kind: Service
apiVersion: v1
metadata:
name: srvclb-nginx
spec:
selector:
app: web-server
ports:
- protocol: "TCP"
port: 80
targetPort: 80
type: LoadBalancer
发布服务，并测试
root@photon-machine [ /usr/local/bin ]# kubectl apply -f nginx-deployment.yaml
root@photon-machine [ /usr/local/bin ]# kubectl get svc -o wide
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE SELECTOR
kubernetes ClusterIP 80.0.0.1 <none> 443/TCP 41h <none>
srvclb-nginx LoadBalancer 80.0.140.94 192.168.4.211 80:30802/TCP 20h app=web-server
supervisor ClusterIP None <none> 6443/TCP 41h <none>
最后通过192.168.4.211可以访问到Nginx服务了。
暂无评论