mysql怎么用es加速 mysql配合es

elasticsearch为什么快

首先，es有term dictionary，可以用logN次磁盘查找到目标term，但磁盘的随机读操作仍然非常耗时，所以尽可能少的读磁盘就是nosql的初衷，而想要将数据放至缓存中，term dictionary又太大了，于是就有了term index，它是term diction的索引，即es中数据索引的索引，比如：A开头的term在第几页，B开头的term又在第几页，这棵树不会包含所有的term，它包含的是term的一些前缀。通过term index可以快速的定位到term dictionary的某个offset，然后再从这个位置往后顺序查找，再加上一些压缩技术（Lucene Finite State Transducers）trem index的尺寸可以只有所有term的几十分之一，使得用内存缓存所有term index变成可能，其结构如下：

网站建设哪家好，找创新互联公司！专注于网页设计、网站建设、微信开发、微信小程序定制开发、集团企业网站建设等服务项目。为回馈新老客户创新互联还提供了巨鹿免费建站欢迎大家使用！

为什么es检索比mysql快，mysql只有term dictionary这一层（索引），是以b+tree排序的方式存储在磁盘上，检索一个term需要若干次的磁盘随机访问，而lucene在term dictionary的基础上又添加了term index来加速检索，其以树的形式缓存在内存里，从term index查到对应的term dictionary的block位置后，再去磁盘上找term，大大减少了磁盘的随机访问次数，再加上其以FST形式保存，非常节省空间，Term dictionary在磁盘上是以分block的方式保存的，一个block内部利用公共前缀压缩，比如都是Ab开头的单词就可以把Ab省去。这样term dictionary可以比b-tree更节约磁盘空间。

使用canal将mysql同步到es中

因为自己项目中需要用到mysql数据同步到es中，查找了相关资料最后决定用canal来做，所以便有了本文，下面一起来看如何使用canal吧

根据 上的原理解释，我们知道 canal 会模拟 mysql slave 的交互协议，伪装自己为 mysql slave，然后向 mysql master 发送 dump 协议。

mysql master 收到 dump 请求，开始推送 binary log 给 slave(也就是 canal)，然后 canal 解析 binary log 对象(原始为 byte流)。

经 canal 解析过的对象，我们使用起来就非常的方便了。

再根据 提供的版本信息，你会发现 canal 其实相当于一个中间件，专门用来解析 MySQL 的 binlog 日志。canal 解析好了之后，会封装成一个数据对象，通过 protobuf3.0 协议进行交互，让 canal 客户端进行消费。

根据上面的解释，以及 canal 提供的版本信息，我们在使用 canal 的时候，首选要安装一个 canal.deployer-1.1.4.tar.gz 进行解析 MySQL 的 binlog 日志。

下载后，复制 canal.deployer-1.1.4.tar.gz 到 MySQL 主机上，比如放在 /usr/local/soft/目录下。然后依次执行下面的命令：

然后修改 canal 的配置文件 vim conf/example/instance.properties

这三项改成你自己的，比如我的配置如下：

然后保存并退出。（VI 模式下，按 Esc 输入 :wq 回车退出。）

接着，我们检查一下 MySQL 的配置。确定版本和是否开启了 binlog 日志，以及日志格式。

canal 支持 binlog 格式为 ROW 的模式。如果你没开启 binlog，并且格式是非 row 的，建议修改一下 mysql 的配置文件。

执行 mysql –help | grep my.cnf 找到 mysql 的 my.cnf 文件。

执行 vim /etc/my.cnf 命令。添加下面 3 个配置。

然后保存并退出。

接着执行 sudo service mysqld restart 重启 MySQL。

需要注意的是你的 mysql 用户，必须要有 REPLICATION SLAVE 权限。该权限授予 slave 服务器以该账户连接 master 后可以执行 replicate 操作的权利。

如果没有权限，则使用 root 账户登录进 MySQL，执行下面的语句，创建用户，分配权限。

MySQL 启动后，就可以开启 canal 服务了。

开启后，观察 canal 服务的日志，确保服务正常。

查看 canal 的日志

确定没有问题后，开始编写我们的测试程序。

pom.xml 中导入下面的依赖。

使用JAVA进行测试

然后执行 main 方法。你再修改修改 MySQL 中的数据，你会发现所有改变都同步过来了。上面是使用的Java代码进行运行，如果想用canal.adapter来进行运行可以下载

放入服务器中，依次执行下面命令

然后修改配置文件 ：

然后将需要运行存储到es的的yml文件放入到

目录下。例如：

然后开启canal-adapter服务

/usr/local/soft/canal-adapter/bin/startup.sh

查看 canal-adapter 的日志，确定没有问题后修改数据 就可以同步到es了

注意：

1、canal-adapter自带mysql连接使用的5.x的，如果自己安装的是高版本的mysql需要自己去/usr/local/soft/canal-adapter/lib增加对应的jar包

2、因项目中同步es使用的sql中有数据库中没有的字段，导致原生程序一直报异常，后修改源码中

加了一个判断后才可以

3、es中使用的date字段类型和数据库中不一致，所以这里又修改了部分源码兼容我们项目中的类型

可以根据各自情况修改。

如何用一款小工具大大加速MySQL SQL语句优化

1.将经常要用到的字段（比如经常要用这些字段来排序，或者用来做搜索），则最好将这些字段设为索引。 2.字段的种类尽可能用int 或者tinyint类型。另外字段尽可能用NOT NULL。 3.当然无可避免某些字段会用到text ,varchar等字符类型，最好将text字段的单独出另外一个表出来（用主键关联好） 4.字段的类型，以及长度，是一个很考究开发者优化功力的一个方面。如果表数据有一定的量了，不妨用PROCEDURE ANALYSE()命令来取得字段的优化建议！（在phpmyadmin里可以在查看表时，点击 “Propose table structure” 来查看这些建议） 如此可以让你的表字段结构 趋向完善。 5.select * 尽量少用，你想要什么字段 就select 什么字段出来 不要老是用* 号！同理，只要一行数据时尽量使用 LIMIT 1 6.绝对不要轻易用order by rand() ，很可能会导致mysql的灾难！！ 7.每个表都应该设置一个ID主键，最好的是一个INT型，并且设置上自动增加的AUTO_INCREMENT标志，这点其实应该作为设计表结构的第一件必然要做的事！！ 8.拆分大的 DELETE 或 INSERT 语句。因为这两个操作是会锁表的，表一锁住了，别的操作都进不来了，就我来说 有时候我宁愿用for循环来一个个执行这些操作。 9.不要用永久链接 mysql_pconnect()；除非你真的非常肯定你的程序不会发生意外，不然很可能也会导致你的mysql死掉。 10.永远别要用复杂的mysql语句来显示你的聪明。就我来说，看到一次关联了三，四个表的语句，只会让人觉得很不靠谱。