如何构建一个简单的CAAS系统

发布时间：2025-11-05 04:05:39 来源：云智核 作者：数据库

在CAAS系统出现前企业应用架构基本被IAAS/SAAS/PAAS等模式垄断，何构直到docker的建个简单出现为我们打开了另一个扇大门，废话不说了，何构我们直奔主题

我们先了解下一个简单的建个简单CAAS系统是如何为用户提供服务的

OK，需求确定了，建个简单该搬砖了。何构

1. 用户镜像制作

既然是建个简单一个简单的CAAS系统，我们就不让用户上传代码或者使用第三方代码托管了，何构直接让他们制作镜像后提交给我们，建个简单为此我们需要搭建一个docker私服来让用户上传镜像，何构假设用户上传的建个简单镜像遵循这种格式:docker私服地址/{appId}:{version}，这对用户有一定要求，何构毕竟一些用户可能连docker是啥都不知道就更别奢望让他们编写dockerfile制作镜像交付给我们了。当然如果我们提供一些基础服务镜像(比如mysql服务,redis服务等)给用户那***了。

2. 启动用户镜像

有了用户制作的镜像，该是b2b信息网启动它的时候了

启动方式很简单，但这并不是我们想要的，毕竟我们是要让用户能够访问到他部署的服务的，假如用户的服务是一个web服务，那你得暴露出用户的web服务端口，这需要我们确定容器的通信方案:

我们简单的CAAS系统暂时还用不到容器间通信，如果跟宿主机共用一个网络空间即--net="host"模式启动的站群服务器话，那么如果有多个用户上传了镜像，他们的WEB服务端口都是8080，显然宿主机上只能启动一个8080端口，只能有一个用户的容器启动成功，其他的因为端口已经被占用导致启动失败，在这里我们选择第三种模式，选择指定的端口映射来发布容器，这也方便我们后面管理宿主机上的端口资源。OK，启动方式改成下面:

为了不让某个用户的应用占用过多资源导致影响到整个宿主机上其他的应用，我们稍微对用户的资源进行下限制，比如限制用户应用容器的使用内存和CPU权重

为了能做到水平扩展，容器服务***是无状态的的，这样能更好的实现负载均衡和水平扩容。

应用启动成功，我们可以通过在宿主机上访问25701即可访问容器的8080端口服务

在写代码的时候我们通过Docker Remote API client libraries来启动卸载容器，亿华云具体代码实现就不多说了。

3. 服务发现

容器启动成功后，用户该如何访问到他的容器服务呢，总不能提供宿主机IP给用户直接访问吧，这就需要我们构建一个服务发现组件了

3.1 服务发现的工作方式:

为了简便，我们使用zookeeper来作为我们的服务发现工具

首先在容器启动成功后我们将服务注册到zookeeper中，存储的path路径如下:/caas/service/address/{appId}/{version}，存储的服务子节点为{containerId}->{宿主机IP}:{服务端口}

例如用户appId01和appId02分别部署了各自的应用版本容器containerId01和containerId02，对应的服务端口分别为25701和25702，那么zk里存储的注册表信息为下:

如果一个用户部署了多个容器实例，对应的zk注册表信息类似下面:

3.2 故障检测

以上我们完成了服务的注册，注册完服务后为了实现应用的高可用，我们应该还需要对容器进行故障检测，故障检测的方案通常有下面2种：

通常内部自己的服务可以使用***种方式让组件主动请求服务发现，用户自己写的服务一般不可能费劲的去实现心跳来访问服务发现组件，所以通常会要求用户实现一个服务发现组件能访问的心跳接口，让服务发现组件去主动请求用户的应用，一旦访问失败在重试一定次数后会认为该应用已经出现故障无法继续提供服务，这时可以根据策略来选择直接停止删除该用户容器或者重新启动。

比如服务发现的健康检查组件可以每隔一定时间来访问用户的心跳接口，类似{宿主机IP}:25701/_ping

3.3 注册表安全访问

基于安全方面考虑，通常情况下我们需要对服务发现做相应的访问控制，以便对注册表中的存储信息实现安全访问，可能有以下几种方案可供参考:

这里我们就不说具体的安全方面的实现了，谁让我们是简易版CAAS系统呢。

3.4 分布式配置存储和负载均衡

其实服务发现的注册表存储访问地址只是其中的一个方面，你可以用它来存其他的信息，比如存应用的配置，你可以通过配置动态的调整应用，也可以存容器的相关指标，负载均衡就是一个很好的例子，它可以通过查询服务发现得到各个后端节点承受的流量数，然后根据这个信息来调整配置。具体的负载均衡算法可以根据需求来选择，我们就使用最简单的round bobin算法，即轮询方式访问。这方面的实现涉及到CAAS系统的另一个组件:路由网关，具体后面介绍。

上面我们一直都是使用了zookeeper来作为服务发现工具的，除了zk，我们还可以使用其他的服务发现工具:etcd、consul、crypt、confd，大家有兴趣可以了解下，最重要的是能保证注册表信息的数据一致性。

4. 调度编排

通过上面几步你的CAAS系统基本小有所成了，但这还不够。我们在生产环境里随着用户应用容器的数量增加需要增加宿主机来支撑避免资源不足，或者将某些用户的实例单独部署在指定的宿主机上，这就需要我们实现一个调度器组件。

4.1 宿主选择

CAAS系统是一个分布式系统，在多个宿主机的环境里，我们需要知道用户的应用该部署在哪台宿主机上，如果单机的话那就不需要选择了，直接指定就好了。具体该如何调度需要考虑以下几点:

4.2 多容器部署调度

随着业务的扩展，我们可能需要提供分组容器管理，将一个集合的容器(通常是有相互依赖关系紧密关联的组件)作为一个单独应用来处理，比如一个web服务容器再加上后端的数据库服务容器组合成一个project来发布。这里就不多做讨论了，我们的简易版系统还没考虑到这步。

4.3 供应

供应是指将一个新主机上线并完成基本配置使得它们能够工作的一个过程，通常在集群管理里用来自动扩展宿主机，管理工具来定义需求额外主机的过程以及自动触发的条件，例如，如果你的应用的负载很高，你可能希望让你的系统增加额外的机器并水平扩展容器以缓解负载，这里我们同样不做实现，简易版就直接手动增加宿主机就好了嘛。

我们在这里举个实现调度器的相对简陋的方案:

主要使用关系型数据库如mysql来存储宿主机信息，调度器查询宿主机的相关指标信息根据调度算法选择相应的宿主机来部署，利用乐观锁来保证并发操作时的数据一致性，利用事务来保证部署和卸载等操作的原子性。这里面可能坑比较多，大家也可以使用现在比较流行的调度器，常用的调度器有：fleet、marathon、Swarm、mesos、Kubernetes、compose，大家有兴趣可以了解下。

5. 网关

上面我们在服务发现的负载均衡方面介绍到了网关，我们把它作为CAAS系统中重要的一个组件，他主要是负责用户请求的转发，举个例子用户部署了容器想要访问它的容器服务，这个请求到达网关后网关根据策略选择相应的后端容器服务然后转发请求。根据用户的设定，动态路由请求到对应容器实例，这相当于一个代理服务器。具体如何选择容器实例服务转发就需要实现负载均衡器，我们可以通过查询服务发现组件来获取相应容器信息来完成。既然是代理服务，我们在中间可以对用户的请求做其他处理，比如做黑名单过滤，做流量统计，做CNames路由等等

假设我们的CAAS网关访问域名是mycaas.gateway.cn，用户在我们后台部署了一个WEB应用容器实例，调度器将他部署在了10.10.10.101宿主机上，容器服务端口映射为25701，用户请求mycaas.gateway.cn到达网关后，网关根据请求信息识别用户查询该用户所有的应用容器信息，得到所有的容器服务地址，根据负载均衡规则代理转发到目标容器服务上。这个查询服务发现的过程中***实现本地缓存，比如使用zookeeper的缓存减少和避免每次请求都访问服务发现组件，同时代理转发中尽量使用连接池减少开销。

6. 总结

至此我们简单的CAAS系统就架构设计好了，在整个系统中有服务发现/调度器/网关等多个组件协调配合。

相关文章