Vagrant 是一款用于构建及配置虚拟开发环境的软件,采用 Ruby 编写,主要以命令行方式运行。 其主要使用 Oracle VirtualBox 提供虚拟化系统,与Chef,Salt,Puppet等环境配置管理软件搭配使用,可以实现快速搭建虚拟开发环境。

Kubespray 是利用 Ansible 这个工具,通过 SSH 协议批量让指定远程机器执行一系列脚本,安装各种组件,完成 K8S 集群搭建。

安装 Vagrant

宿主机是 Ubuntu 20.04,安装参考 Install Vagrant

wget -O- https://apt.releases.hashicorp.com/gpg | gpg --dearmor | sudo tee /usr/share/keyrings/hashicorp-archive-keyring.gpg
echo "deb [signed-by=/usr/share/keyrings/hashicorp-archive-keyring.gpg] https://apt.releases.hashicorp.com $(lsb_release -cs) main" | sudo tee /etc/apt/sources.list.d/hashicorp.list
sudo apt update && sudo apt install vagrant

我这里 Vagrant 用的 providervirtualbox

准备 Vagrant Box

一开始使用的是 centos/7,但这个 Box 的一些默认配置不够灵活:

  • SSH Server 配置了无法使用密码连接,只能使用私钥
  • 磁盘最大只有几十个G,后期会是一个瓶颈
  • root 用户无法直接使用

由于以上原因,决定自制 CentOS Box。

自制 CentOS Box

首先准备一个 CentOS 7.8 的虚拟机镜像,基于这个启动一个虚拟机(叫做 centos7.8-template),这个虚拟机有几个要求:

  • 磁盘大小给 2T(预分配,实际占用空间根据实际使用情况而定)
  • 内存和 CPU 在创建的时候在 Vagrantfile 中再设置
  • vagrant 用户,sudoer 需要设置 NOPASSWD
  • 添加公钥
  • 设置 ssh server,UseDNS=no
  • 安装 VirtualBox Guest Additions
# 宿主机上生成 box
vagrant package --base centos7.8-template

# 添加 box
vagrant box add package.box --name centos7.8

这个 Box 已经上传到 Vagrant Cloud 了: k8scat/centos7.8

初始化虚拟机

目录结构:

.
├── master01
│   └── Vagrantfile
├── node01
│   └── Vagrantfile
├── node02
│   └── Vagrantfile
├── operator
│   └── Vagrantfile
└── scripts
    ├── init_node.sh
    └── init_operator.sh

分别使用 init_operator.shinit_node.sh 初始化操作机和节点机(包括 master), GitHub地址:k8scat/k8s-cluster-vagrant

设置免密登录

ssh-keygen
ssh-copy-id root@ip

初始化 K8S 集群

cp -rfp inventory/sample inventory/mycluster

# 生成 hosts.yaml
declare -a IPS=(192.168.3.63 192.168.3.64 192.168.3.65)
CONFIG_FILE=inventory/mycluster/hosts.yaml python3 contrib/inventory_builder/inventory.py ${IPS[@]}

# 编辑 inventory/mycluster/hosts.yaml
# 修改 master 和 node 的分配

# 编辑 inventory/mycluster/group_vars/all/all.yml
# 设置 http_proxy 和 https_proxy 代理,代理需要是 http 开头的

# 编辑 inventory/mycluster/group_vars/k8s_cluster/k8s-cluster.yml
# 设置 container_manager 为 docker

# 编辑 inventory/mycluster/group_vars/all/docker.yml
# 设置 docker_registry_mirrors,添加阿里云镜像加速地址

# 开始创建集群
ansible-playbook -i inventory/mycluster/hosts.yaml --become --become-user=root cluster.yml

# 删除集群
# 会卸载 docker
#ansible-playbook -i inventory/mycluster/hosts.yaml --become --become-user=root reset.yml