MySQL数据同步ES的4种方法！你能想到几种？

发布时间：2025-11-04 00:14:22 来源：云智核 作者：应用开发

 本文转载自微信公众号「 三分恶」，据同作者老三 。种方种转载本文请联三分恶公众号。据同

大家好，种方种我是据同老三，这期给大家分享一个电商中常见的种方种场景——MySQL数据同步Elasticsearch。

商品检索

大家应该都在各种电商网站检索过商品，据同检索商品一般都是种方种通过什么实现呢？搜索引擎Elasticsearch。

那么问题来了，据同商品上架，种方种数据一般写入到MySQL的据同数据库中，那么用于检索的种方种数据又是怎么同步到Elasticsearch的呢？

MySQL同步ES

1.同步双写

这是能想到的最直接的方式，在写入MySQL，据同直接也同步往ES里写一份数据。种方种

同步双写

对于这种方式：

2.异步双写

我们也很容易想到异步双写的办法，上架商品的时候，云服务器先把商品数据丢进MQ，为了解耦合，我们一般会拆分一个搜索服务，由搜索服务去订阅商品变动的消息，来完成同步。

异步双写

前面说的，一些数据需要聚合处理成类似宽表的结构怎么办呢？例如商品库的商品品类、spu、sku表是分开的，但是查询是跨维度的，在ES里再聚合一次效率就低一些，最好就是把商品的数据给聚合起来，在ES里以类似大宽表的形式存储，这样一来查询效率就高一些。

多维度多条件查询

这种其实没什么好办法，基本上还是得搜索服务直接查库，或者远程调用，再查询一遍商品的数据库，就是服务器租用所谓的回查。

回查完成聚合

这种方式：

引入了新的组件和服务，增加了复杂度

3.定时任务

假如我们要快速搞搞，数据量有没那么大，怎么办呢？定时任务也可以。

定时任务

定时任务，最麻烦的一点是频率不好选，频率高的话，会非自然地形成业务的波峰，导致存储的CPU、内存占用波峰式上升，频率低的话实时性比较差，而且也有波峰的情况。

这种方式：

4.数据订阅

还有一种方式，就是最时兴的数据订阅。

MySQL通过binlog订阅实现主从同步，各路数据订阅框架比如canal就依据这个原理，将client组件伪装成从库，云南idc服务商来实现数据订阅。

MySQL主从同步

我们以应用最广泛的canal为例，canal通过​​canal-adapter​​，支持多种适配器，其中就有ES适配器，通过一些配置，启动之后，就可以直接把MySQL数据同步到ES，这个过程是零代码的。

canal同步数据

但是，和老板了解过，使用canal看起来很美好，帮我们把同步的事情都干了，但其实，还是要写代码。为什么呢？

前面提到的多张表数据聚合，canal的支持没那么好，所以还是得回查。这时候用canal-adapter就不合适了，需要自己实现canal-client，监听和聚合数据，写入ES：

数据订阅+回查

这种看起来和异步双写比较像，但是第一降低了商品服务的耦合，第二数据的实时性更好。

所以使用数据订阅：

至于数据订阅框架的选型，主流的大体上是这些：

Cancal

Maxwell

Python-Mysql-Rplication

开源方

阿里巴巴

Zendesk

社区

开发语言

Java

Java

Python

活跃度

活跃

活跃

活跃

高可用

支持

支持

不支持

客户端

Java/Go/PHP/Python/Rust

无

Python

消息落地

Kafka/RocketMQ 等

Kafka/RabbitNQ/Redis 等

自定义

消息格式

自定义

JSON

自定义

文档详略

详细

详细

详细

Boostrap

不支持

支持

不支持

除了MySQL同步ES，MySQL同步到其它的数据存储，例如HBase，其实大体上都是类似的几种方法。

参考：

相关文章