MySQL 群集是一种技术，该技术允许在无共享的系统中部署“内存中”和“磁盘中”数据库的 Cluster 。通过无共享体系结构，系统能够使用廉价的硬件，而且对软硬件无特殊要求。此外，由于每个组件有自己的内存和磁盘，不存在单点故障。MySQL Cluster 由一组计算机构成，每台计算机上均运行着多种进程，包括 MySQL 服务器，NDB Cluster 的数据节点，管理服务器，以及（可能存在的）专门的数据访问程序。
我们提供的服务有：网站制作、成都网站建设、微信公众号开发、网站优化、网站认证、抚顺ssl等。为上千多家企事业单位解决了网站和推广的问题。提供周到的售前咨询和贴心的售后服务，是有科学管理、有技术的抚顺网站制作公司
管理服务器(MGM节点)负责管理 Cluster 配置文件和 Cluster 日志。Cluster 中的每个节点从管理服务器检索配置数据。当数据节点内出现新的事件时，节点将关于这类事件的信息传输到管理服务器，然后，将这类信息写入 Cluster 日志。
目前能够运行 MySQL Cluster 的操作系统有 Linux、Mac OS X 和 Solaris，最新的版本已经支持 Windows 操作系统。
MySQL 群集的数据节点之间的通信是不加密的，并且需要高速的带宽，所以建议把群集建立在一个高速局域网内，不建议跨网段、跨公网的部署这种系统体系。
MySQL 群集分为三种节点：管理节点，数据节点和SQL节点。
管理节点：主要用于管理各个节点，能够通过命令对某个节点进行重启、关闭、启动等操作。也能够监视全部节点的工作状态。
数据节点：主要是对数据的存储，不提供其他的服务。
SQL节点：主要是对外提供SQL功能，类似一台普通的 MySQL Server。
而SQL节点和数据节点可以是同一台机器，也就是说这台机器即是SQL节点也是数据节点。它们只是逻辑关系上的划分，实际部署时，甚至所有的阶段都可以位于同一台物理机器上，只是配置较复杂些。
一、软件下载机器操作环境
配置 MySQL 群集必需使用其群集版本，注意和 MySQL Server 版本的区别。本文以 Windows 平台下的 MySQL 群集版本 MySQL Cluster 7.1.3 为例（截至2010年6月初的最高版本），这是 MySQL Server 5.1 系列版本之一，添加了群集的功能。下载地址为：，选择 mysql-cluster-gpl-noinstall-7.1.3-win32.zip 文件，这是一个 for Windows 32位版本的、免安装的二进制版本。
根据自己的操作系统的位数，也可以选择 64 位版本的。还有一个 27.2M 的 Windows(x86, 32-bit) 版本，下载下来需要自己编译，有经验的高级用户可以选用。
本实验在 2 台安装 Windows Server 2003(sp2) 的机器上进行。节点分配及 IP 配置如下：
第一台机器，IP 为 10.0.0.201，作为管理节点(MGM)，SQL节点1(SQL1)，数据节点1(NDBD1)。
第二台机器，IP 为 10.0.0.202，作为SQL节点2(SQL2)，数据节点2(NDBD2)。
管理节点最好不要与数据节点部署在同一台服务器上，否则可能会因为该数据节点服务器的当机，而导致管理节点服务器的问题，从而导致整个群集系统的崩溃。
二，配置管理节点：
在第一台机器上，建文件夹 D:\mysql-cluster，在其下建立文件 config.ini，内容如下：
[NDBD DEFAULT]
NoOfReplicas=1
[MYSQLD DEFAULT]
[NDB_MGMD DEFAULT]
[TCP DEFAULT]
# Managment Server
[NDB_MGMD]
hostname=10.0.0.201
# Storage Engines
[NDBD]
hostname=10.0.0.201
datadir= D:\data
[NDBD]
hostname=10.0.0.202
datadir= D:\data
# SQL Engines
[MYSQLD]
hostname=10.0.0.201
[MYSQLD]
hostname=10.0.0.202
Cluster 管理节点的默认端口是1186，数据节点的默认端口是 2202。从 MySQL 5.0.3开始，该限制已被放宽，Cluster 能够根据空闲的端口自动地为数据节点分配端口。如果你的版本低于5.0.22，请注意这个细节。
Cluster 管理节点作为一个服务端(通过运行 db_mgmd.exe 程序读取本配置文件来启动)，通过本机上的客户端 ndb_mgm.exe 来连接和操作。
三、配置 MySQL 数据库服务器：
在2台机器上，分别依次操作。
解压 mysql-cluster-gpl-noinstall-7.1.3-win32.zip 文件到 D:\mysql-cluster-gpl-noinstall-7.1.3-win32 文件夹下，把 D:\mysql-cluster-gpl-noinstall-7.1.3-win32\bin 加到 Windows 的系统 path 中。
打开DOS命令行窗口（配置完系统path后，在再次打开新的命令行窗口），执行以下语句，让 MySQL 作为 Windows 服务运行：
mysqld.exe -install mysql
再在 Windows 服务管理界面里，配置 mysql 服务，手动启动（不要自动启动）。
把 D:\mysql-cluster-gpl-noinstall-7.1.3-win32 下的某个备用的配置文件（例如my-small.ini）复制为 my.ini 文件。
建立 D:\tmp 文件夹。
四、配置SQL节点和数据节点：
在2台机器上，分别依次操作。
建立文件夹 D:\data。
编辑 NySQL 配置文件 D:\mysql-cluster-gpl-noinstall-7.1.3-win32\my.ini，在 [mysqld] 节末尾加语句：
#SQL群集节点
ndbcluster
ndb-connectstring=10.0.0.201
有了 ndbcluster 语句，mysql 服务将作为群集的 SQL 节点启动。mysqld.exe 命令带参数 –ndbcluster 运行是一样的效果。
mysql 服务连接到数据节点的 2202 默认端口，或自动分配的别的可用端口。
（问题：SQL节点如何获得数据节点的IP地址？是否通过连接管理节点，取得所有数据节点的IP地址的列表？）
这里的连接字符串的值在 MySQL 服务启动时使用，用于连接到管理节点。
在末尾加语句：
#NDB集群节点
[mysql_cluster]
ndb-connectstring=10.0.0.201
注：好像以下形式也可：
[ndbd]
ndb-connectstring=10.0.0.201
这里的连接字符串的值在数据节点启动时使用，用于连接到管理节点。
五，启动群集各服务器
启动顺序依次是：管理节点、数据节点、SQL节点。
1，启动管理节点
在第一台服务器的DOS窗口，运行命令：
C:\ndb_mgmd.exe -f d:\mysql-cluster.conf\config.ini –configdir=d:\mysql-cluster
注：如果不带 –configdir=d:\mysql-cluster 参数，将默认为 C:\mysql\mysql-cluster 文件夹。
屏幕显示：
C:\ndb_mgmd.exe -f d:\mysql-cluster.conf\config.ini –configdir=d:\mysql-cluster
2010-06-10 01:16:57 [MgmtSrvr] INFO — NDB Cluster Management Server. mysql-5.1.44 ndb-7.1.3
2010-06-10 01:16:57 [MgmtSrvr] INFO — Reading cluster configuration from ‘d:\mysql-cluster.conf\config.ini'
2010-06-10 01:16:57 [MgmtSrvr] INFO — Got initial configuration from ‘d:\mysql-cluster.conf\config.ini', will try to set it when all ndb_mgmd(s) started
2010-06-10 01:16:57 [MgmtSrvr] INFO — Mgmt server state: nodeid 1 reserved for ip 10.0.0.201, m_reserved_nodes 1.
2010-06-10 01:16:57 [MgmtSrvr] INFO — Id: 1, Command port: *:1186
==INITIAL==
2010-06-10 01:16:57 [MgmtSrvr] INFO — Starting initial configuration change
2010-06-10 01:16:57 [MgmtSrvr] INFO — Configuration 1 commited
2010-06-10 01:16:57 [MgmtSrvr] INFO — Config change completed! New generation: 1
==CONFIRMED==
2，启动数据节点
分别在2台服务器的DOS窗口运行命令。
第一次，或初始化群集节点时，运行命令：
ndbd.exe –initial
初始化之后，只运行 ndbd.exe 即可。若带参数 –initial 运行，将使正常运行的群集系统中，数据节点的数据全部丢失。
数据节点依赖管理节点服务器，进行数据的自动复制和同步，使各个数据节点的数据保持一致，并在某个数据节点意外关闭又恢复后，进行数据的恢复重建。
3，启动SQL节点
有了 ndbcluster 语句，启动 mysql 服务，就启动了SQL节点。应在前2种节点启动后，分别在2台服务器上进行。
六、群集管理
在所有的数据节点和SQL节点未启动之前，运行群集管理节点服务的客户端 ndb_mgm.exe，只能获得以下信息：
C:\ndb_mgm.exe
— NDB Cluster — Management Client –
ndb_mgm show
Cluster Configuration
———————
[ndbd(NDB)] 2 node(s)
id=2 (not connected, accepting connect from 10.0.0.201)
id=3 (not connected, accepting connect from 10.0.0.202)
[ndb_mgmd(MGM)] 1 node(s)
id=1 @10.0.0.201 (mysql-5.1.44 ndb-7.1.3)
[mysqld(API)] 2 node(s)
id=4 (not connected, accepting connect from 10.0.0.201)
id=5 (not connected, accepting connect from 10.0.0.202)
ndb_mgm
说明数据节点、SQL节点均未连接到管理节点服务。
在所有的数据节点和SQL节点正确启动之后，将获得以下信息：
ndb_mgm show
Cluster Configuration
———————
[ndbd(NDB)] 2 node(s)
id=2 @10.0.0.201 (mysql-5.1.44 ndb-7.1.3, Nodegroup: 0, Master)
id=3 @10.0.0.202 (mysql-5.1.44 ndb-7.1.3, Nodegroup: 1)
[ndb_mgmd(MGM)] 1 node(s)
id=1 @10.0.0.201 (mysql-5.1.44 ndb-7.1.3)
[mysqld(API)] 2 node(s)
id=4 @10.0.0.201 (mysql-5.1.44 ndb-7.1.3)
id=5 @10.0.0.202 (mysql-5.1.44 ndb-7.1.3)
ndb_mgm
关闭群集的DOS命令：
ndb_mgm -e shutdown
或在 ndb_mgm 环境下执行 shutdown 命令。
以上命令或关闭管理节点服务和所有的数据节点。随意、强行关闭群集系统（关机或关闭进程），会导致数据没有全部写回磁盘而导致的数据丢失。
关闭SQL节点的 mysqld 服务：
C:\net stop mysql，或：
C:\mysqladmin -u root shutdown
七、测试
正常运行的 MySQL 群集系统，通过SQL节点可以对数据节点进行数据库操作，各数据节点可以自动进行数据同步。某一个数据节点关闭后，不影响SQL节点的使用。某些数据节点出错后，可以进行恢复。需要注意的是，SQL节点建立数据库时，必须选择“ndbcluster”数据库引擎。如果不选择“ndbcluster”引擎，建立的数据库将不会进入MySQL群集系统中，但是可以独立使用。
另外，每个 NDB 表必须有一个主键。如果在创建表时未定义主键，NDB Cluster 存储引擎将自动生成隐含的主键。该隐含的键也将占用空间，就像任何其他的表索引一样。由于没有足够的内存来容纳这些自动创建的键，出现问题并不罕见。
首先是我们将鼠标移动到如下图所示的计算机的图标上，点击右键，选择管理。
请点击输入图片描述
请点击输入图片描述
然后我们点击如下图界面中的服务和应用程序。
请点击输入图片描述
请点击输入图片描述
接下来可以看到它下面有一个我们的目标——服务。
请点击输入图片描述
请点击输入图片描述
服务的话它是按字母排列的，我们往下拉，找到Mysql服务。此时可以看到它是一个手动启动的状态。
请点击输入图片描述
请点击输入图片描述
在mysql服务上点击鼠标右键，选择属性。
请点击输入图片描述
请点击输入图片描述
然后跳出的如下图的界面中我们将手动改成自动，点击确定，这样你的mysql服备就是一个自启动的状态。
请点击输入图片描述
请点击输入图片描述
到官网下载mysql-5.5.10-win32.zip，然后将mysql解压到任意路径，如：C:\mysql-5.5.10-win32
打开计算机-属性-高级系统设置-环境变量，新建一个环境变量，变量名为：MYSQL_HOME，变量值为你的mysql根目录，如：C:\mysql-5.5.10-win32
然后在系统变量Path中添加：;%MYSQL_HOME%\bin
在根目录下面有几个已经写好的"my-"开头的ini文件，选一个适合你的，如：my-small.ini。复制一份，将文件名修改为my.ini，添加以下内容：
Properties代码
[mysqld]
#设置字符集为utf8
default-character-set = utf8
basedir = C:/mysql-5.5.10-win32
datadir = C:/mysql-5.5.10-win32/data
[client]
#设置客户端字符集
default-character-set = utf8
[WinMySQLadmin]
Server = C:/mysql-5.5.10-win32/bin/mysqld.exe
打开命令提示符，进入%MYSQL_HOME%/bin目录，执行命令：mysqld -install将mysql安装到windows的服务。执行成功后会提示：C:\mysql-5.5.10-win32\binService successfully installed.
如果想要卸载服务执行命令：mysqld -remove。
然后在命令提示符下执行：net start mysql就能启动mysql了，停止服务输入命令：net stop mysql。如果想设置mysql是否自动启动，可以在开始菜单-运行中输入service.msc打开服务管理进行设置。
第一次登录的时候输入：
C:\Users\Administratormysql -u root
修改密码：
mysql update mysql.user set password=PASSWORD('root') where User='root'
mysql flush privileges
不过我在安装过程中还是出了点小问题，启动mysql的时候报错：
系统出错。
发生系统错误 1067。
进程意外终止。
打开%MYSQL_HOME%/data目录下的用户名.err文件，mysql的错误日志就记录在这个文件中。在里面发现这样一句话：
110327 0:12:02 [ERROR] MySQL: unknown variable 'default-character-set=utf8'
感觉很奇怪，以前一直都这样安装的。最后在mysql的官网上找到一篇中国DBA的求助信息，原来这是新版本的一个bug，不支持在my.ini中直接设置字符集为utf8。解决办法是：在default-character-set=utf8前面加上loose-即：
Properties代码
[mysqld]
#设置字符集为utf8
loose-default-character-set = utf8
[client]
#设置客户端字符集
loose-default-character-set = utf8
启动果然不再报错了。。。那份求助信息的原文地址：
后记：
虽然使用上面的方式加入loose-以后，mysql启动不再报错了。但是在插入数据时依然出现了乱码问题，给我造成了不小的麻烦。
mysql show variables like '%char%';
通过以上命令查看字符集编码，得到如下结果：
+--------------------------+---------------------------------------+
| Variable_name | Value |
+--------------------------+---------------------------------------+
| character_set_client | utf8 |
| character_set_connection | utf8 |
| character_set_database | latin1 |
| character_set_filesystem | binary |
| character_set_results | utf8 |
| character_set_server | latin1 |
| character_set_system | utf8 |
| character_sets_dir | C:\mysql-5.5.10-win32\share\charsets\ |
+--------------------------+---------------------------------------+
可以看出character_set_database ，character_set_server 的编码还是默认的latin1。
在[mysqld]配置选项下添加character-set-server = utf8，重启服务进入mysql再次查看：
+--------------------------+---------------------------------------+
| Variable_name | Value |
+--------------------------+---------------------------------------+
| character_set_client | utf8 |
| character_set_connection | utf8 |
| character_set_database | utf8 |
| character_set_filesystem | binary |
| character_set_results | utf8 |
| character_set_server | utf8 |
| character_set_system | utf8 |
| character_sets_dir | C:\mysql-5.5.10-win32\share\charsets\ |
+--------------------------+---------------------------------------+
问题完美解决
[client]\x0d\x0aport = 3306\x0d\x0asocket = /tmp/mysql.sock\x0d\x0a[mysqld]\x0d\x0aport = 3306\x0d\x0asocket = /tmp/mysql.sock\x0d\x0a\x0d\x0abasedir = /usr/local/mysql\x0d\x0adatadir = /data/mysql\x0d\x0apid-file = /data/mysql/mysql.pid\x0d\x0auser = mysql\x0d\x0abind-address = 0.0.0.0\x0d\x0aserver-id = 1 #表示是本机的序号为1,一般来讲就是master的意思\x0d\x0a\x0d\x0askip-name-resolve\x0d\x0a# 禁止MySQL对外部连接进行DNS解析，使用这一选项可以消除MySQL进行DNS解析的时间。但需要注意，如果开启该选项，\x0d\x0a# 则所有远程主机连接授权都要使用IP地址方式，否则MySQL将无法正常处理连接请求\x0d\x0a\x0d\x0a#skip-networking\x0d\x0a\x0d\x0aback_log = 600\x0d\x0a# MySQL能有的连接数量。当主要MySQL线程在一个很短时间内得到非常多的连接请求，这就起作用，\x0d\x0a# 然后主线程花些时间(尽管很短)检查连接并且启动一个新线程。back_log值指出在MySQL暂时停止回答新请求之前的短时间内多少个请求可以被存在堆栈中。\x0d\x0a# 如果期望在一个短时间内有很多连接，你需要增加它。也就是说，如果MySQL的连接数据达到max_connections时，新来的请求将会被存在堆栈中，\x0d\x0a# 以等待某一连接释放资源，该堆栈的数量即back_log，如果等待连接的数量超过back_log，将不被授予连接资源。\x0d\x0a# 另外，这值（back_log）限于您的操作系统对到来的TCP/IP连接的侦听队列的大小。\x0d\x0a# 你的操作系统在这个队列大小上有它自己的限制（可以检查你的OS文档找出这个变量的最大值），试图设定back_log高于你的操作系统的限制将是无效的。\x0d\x0a\x0d\x0amax_connections = 1000\x0d\x0a# \x0d\x0aMySQL的最大连接数，如果服务器的并发连接请求量比较大，建议调高此值，以增加并行连接数量，当然这建立在机器能支撑的情况下，因为如果连接数越多，\x0d\x0a介于MySQL会为每个连接提供连接缓冲区，就会开销越多的内存，所以要适当调整该值，不能盲目提高设值。可以过'conn%'通配符查看当前状态的连接\x0d\x0a数量，以定夺该值的大小。\x0d\x0a\x0d\x0amax_connect_errors = 6000\x0d\x0a# 对于同一主机，如果有超出该参数值个数的中断错误连接，则该主机将被禁止连接。如需对该主机进行解禁，执行：FLUSH HOST。\x0d\x0a\x0d\x0aopen_files_limit = 65535\x0d\x0a# MySQL打开的文件描述符限制，默认最小1024;当open_files_limit没有被配置的时候，比较max_connections*5和ulimit -n的值，哪个大用哪个，\x0d\x0a# 当open_file_limit被配置的时候，比较open_files_limit和max_connections*5的值，哪个大用哪个。\x0d\x0a\x0d\x0atable_open_cache = 128\x0d\x0a# MySQL每打开一个表，都会读入一些数据到table_open_cache缓存中，当MySQL在这个缓存中找不到相应信息时，才会去磁盘上读取。默认值64\x0d\x0a# 假定系统有200个并发连接，则需将此参数设置为200*N(N为每个连接所需的文件描述符数目)；\x0d\x0a# 当把table_open_cache设置为很大时，如果系统处理不了那么多文件描述符，那么就会出现客户端失效，连接不上\x0d\x0a\x0d\x0amax_allowed_packet = 4M\x0d\x0a# 接受的数据包大小；增加该变量的值十分安全，这是因为仅当需要时才会分配额外内存。例如，仅当你发出长查询或MySQLd必须返回大的结果行时MySQLd才会分配更多内存。\x0d\x0a# 该变量之所以取较小默认值是一种预防措施，以捕获客户端和服务器之间的错误信息包，并确保不会因偶然使用大的信息包而导致内存溢出。\x0d\x0a\x0d\x0abinlog_cache_size = 1M\x0d\x0a# 一个事务，在没有提交的时候，产生的日志，记录到Cache中；等到事务提交需要提交的时候，则把日志持久化到磁盘。默认binlog_cache_size大小32K\x0d\x0a\x0d\x0amax_heap_table_size = 8M\x0d\x0a# 定义了用户可以创建的内存表(memory table)的大小。这个值用来计算内存表的最大行数值。这个变量支持动态改变\x0d\x0a\x0d\x0atmp_table_size = 16M\x0d\x0a# MySQL的heap（堆积）表缓冲大小。所有联合在一个DML指令内完成，并且大多数联合甚至可以不用临时表即可以完成。\x0d\x0a# 大多数临时表是基于内存的(HEAP)表。具有大的记录长度的临时表 (所有列的长度的和)或包含BLOB列的表存储在硬盘上。\x0d\x0a#\x0d\x0a \x0d\x0a如果某个内部heap（堆积）表大小超过tmp_table_size，MySQL可以根据需要自动将内存中的heap表改为基于硬盘的MyISAM表。\x0d\x0a还可以通过设置tmp_table_size选项来增加临时表的大小。也就是说，如果调高该值，MySQL同时将增加heap表的大小，可达到提高联接查\x0d\x0a询速度的效果\x0d\x0a\x0d\x0aread_buffer_size = 2M\x0d\x0a# MySQL读入缓冲区大小。对表进行顺序扫描的请求将分配一个读入缓冲区，MySQL会为它分配一段内存缓冲区。read_buffer_size变量控制这一缓冲区的大小。\x0d\x0a# 如果对表的顺序扫描请求非常频繁，并且你认为频繁扫描进行得太慢，可以通过增加该变量值以及内存缓冲区大小提高其性能\x0d\x0a\x0d\x0aread_rnd_buffer_size = 8M\x0d\x0a# MySQL的随机读缓冲区大小。当按任意顺序读取行时(例如，按照排序顺序)，将分配一个随机读缓存区。进行排序查询时，\x0d\x0a# MySQL会首先扫描一遍该缓冲，以避免磁盘搜索，提高查询速度，如果需要排序大量数据，可适当调高该值。但MySQL会为每个客户连接发放该缓冲空间，所以应尽量适当设置该值，以避免内存开销过大\x0d\x0a\x0d\x0asort_buffer_size = 8M\x0d\x0a# MySQL执行排序使用的缓冲大小。如果想要增加ORDER BY的速度，首先看是否可以让MySQL使用索引而不是额外的排序阶段。\x0d\x0a# 如果不能，可以尝试增加sort_buffer_size变量的大小\x0d\x0a\x0d\x0ajoin_buffer_size = 8M\x0d\x0a# 联合查询操作所能使用的缓冲区大小，和sort_buffer_size一样，该参数对应的分配内存也是每连接独享\x0d\x0a\x0d\x0athread_cache_size = 8\x0d\x0a# 这个值（默认8）表示可以重新利用保存在缓存中线程的数量，当断开连接时如果缓存中还有空间，那么客户端的线程将被放到缓存中，\x0d\x0a# 如果线程重新被请求，那么请求将从缓存中读取,如果缓存中是空的或者是新的请求，那么这个线程将被重新创建,如果有很多新的线程，\x0d\x0a# 增加这个值可以改善系统性能.通过比较Connections和Threads_created状态的变量，可以看到这个变量的作用。(_表示要调整的值)\x0d\x0a# 根据物理内存设置规则如下：\x0d\x0a# 1G — 8\x0d\x0a# 2G — 16\x0d\x0a# 3G — 32\x0d\x0a# 大于3G — 64\x0d\x0a\x0d\x0aquery_cache_size = 8M\x0d\x0a#MySQL的查询缓冲大小（从4.0.1开始，MySQL提供了查询缓冲机制）使用查询缓冲，MySQL将SELECT语句和查询结果存放在缓冲区中，\x0d\x0a# 今后对于同样的SELECT语句（区分大小写），将直接从缓冲区中读取结果。根据MySQL用户手册，使用查询缓冲最多可以达到238%的效率。\x0d\x0a# 通过检查状态值'Qcache_%'，可以知道query_cache_size设置是否合理：如果Qcache_lowmem_prunes的值非常大，则表明经常出现缓冲不够的情况，\x0d\x0a# 如果Qcache_hits的值也非常大，则表明查询缓冲使用非常频繁，此时需要增加缓冲大小；如果Qcache_hits的值不大，则表明你的查询重复率很低，\x0d\x0a# 这种情况下使用查询缓冲反而会影响效率，那么可以考虑不用查询缓冲。此外，在SELECT语句中加入SQL_NO_CACHE可以明确表示不使用查询缓冲\x0d\x0a\x0d\x0aquery_cache_limit = 2M\x0d\x0a#指定单个查询能够使用的缓冲区大小，默认1M\x0d\x0a\x0d\x0akey_buffer_size = 4M\x0d\x0a#指定用于索引的缓冲区大小，增加它可得到更好处理的索引(对所有读和多重写)，到你能负担得起那样多。如果你使它太大，\x0d\x0a# 系统将开始换页并且真的变慢了。对于内存在4GB左右的服务器该参数可设置为384M或512M。通过检查状态值Key_read_requests和Key_reads，\x0d\x0a# 可以知道key_buffer_size设置是否合理。比例key_reads/key_read_requests应该尽可能的低，\x0d\x0a# 至少是1:100，1:1000更好(上述状态值可以使用SHOW STATUS LIKE 'key_read%'获得)。注意：该参数值设置的过大反而会是服务器整体效率降低\x0d\x0a\x0d\x0aft_min_word_len = 4\x0d\x0a# 分词词汇最小长度，默认4\x0d\x0a\x0d\x0atransaction_isolation = REPEATABLE-READ\x0d\x0a# MySQL支持4种事务隔离级别，他们分别是：\x0d\x0a# READ-UNCOMMITTED, READ-COMMITTED, REPEATABLE-READ, SERIALIZABLE.\x0d\x0a# 如没有指定，MySQL默认采用的是REPEATABLE-READ，ORACLE默认的是READ-COMMITTED\x0d\x0a\x0d\x0alog_bin = mysql-bin\x0d\x0abinlog_format = mixed\x0d\x0aexpire_logs_days = 30 #超过30天的binlog删除\x0d\x0a\x0d\x0alog_error = /data/mysql/mysql-error.log #错误日志路径\x0d\x0aslow_query_log = 1\x0d\x0along_query_time = 1 #慢查询时间 超过1秒则为慢查询\x0d\x0aslow_query_log_file = /data/mysql/mysql-slow.log\x0d\x0a\x0d\x0aperformance_schema = 0\x0d\x0aexplicit_defaults_for_timestamp\x0d\x0a\x0d\x0a#lower_case_table_names = 1 #不区分大小写\x0d\x0a\x0d\x0askip-external-locking #MySQL选项以避免外部锁定。该选项默认开启\x0d\x0a\x0d\x0adefault-storage-engine = InnoDB #默认存储引擎\x0d\x0a\x0d\x0ainnodb_file_per_table = 1\x0d\x0a# InnoDB为独立表空间模式，每个数据库的每个表都会生成一个数据空间\x0d\x0a# 独立表空间优点：\x0d\x0a# 1．每个表都有自已独立的表空间。\x0d\x0a# 2．每个表的数据和索引都会存在自已的表空间中。\x0d\x0a# 3．可以实现单表在不同的数据库中移动。\x0d\x0a# 4．空间可以回收（除drop table操作处，表空不能自已回收）\x0d\x0a# 缺点：\x0d\x0a# 单表增加过大，如超过100G\x0d\x0a# 结论：\x0d\x0a# 共享表空间在Insert操作上少有优势。其它都没独立表空间表现好。当启用独立表空间时，请合理调整：innodb_open_files\x0d\x0a\x0d\x0ainnodb_open_files = 500\x0d\x0a# 限制Innodb能打开的表的数据，如果库里的表特别多的情况，请增加这个。这个值默认是300\x0d\x0a\x0d\x0ainnodb_buffer_pool_size = 64M\x0d\x0a# InnoDB使用一个缓冲池来保存索引和原始数据, 不像MyISAM.\x0d\x0a# 这里你设置越大,你在存取表里面数据时所需要的磁盘I/O越少.\x0d\x0a# 在一个独立使用的数据库服务器上,你可以设置这个变量到服务器物理内存大小的80%\x0d\x0a# 不要设置过大,否则,由于物理内存的竞争可能导致操作系统的换页颠簸.\x0d\x0a# 注意在32位系统上你每个进程可能被限制在 2-3.5G 用户层面内存限制,\x0d\x0a# 所以不要设置的太高.\x0d\x0a\x0d\x0ainnodb_write_io_threads = 4\x0d\x0ainnodb_read_io_threads = 4\x0d\x0a# innodb使用后台线程处理数据页上的读写 I/O(输入输出)请求,根据你的 CPU 核数来更改,默认是4\x0d\x0a# 注:这两个参数不支持动态改变,需要把该参数加入到my.cnf里，修改完后重启MySQL服务,允许值的范围从 1-64\x0d\x0a\x0d\x0ainnodb_thread_concurrency = 0\x0d\x0a# 默认设置为 0,表示不限制并发数，这里推荐设置为0，更好去发挥CPU多核处理能力，提高并发量\x0d\x0a\x0d\x0ainnodb_purge_threads = 1\x0d\x0a# InnoDB中的清除操作是一类定期回收无用数据的操作。在之前的几个版本中，清除操作是主线程的一部分，这意味着运行时它可能会堵塞其它的数据库操作。\x0d\x0a# 从MySQL5.5.X版本开始，该操作运行于独立的线程中,并支持更多的并发数。用户可通过设置innodb_purge_threads配置参数来选择清除操作是否使用单\x0d\x0a# 独线程,默认情况下参数设置为0(不使用单独线程),设置为 1 时表示使用单独的清除线程。建议为1\x0d\x0a\x0d\x0ainnodb_flush_log_at_trx_commit = 2\x0d\x0a# 0：如果innodb_flush_log_at_trx_commit的值为0,log buffer每秒就会被刷写日志文件到磁盘，提交事务的时候不做任何操作（执行是由mysql的master thread线程来执行的。\x0d\x0a# 主线程中每秒会将重做日志缓冲写入磁盘的重做日志文件(REDO LOG)中。不论事务是否已经提交）默认的日志文件是ib_logfile0,ib_logfile1\x0d\x0a# 1：当设为默认值1的时候，每次提交事务的时候，都会将log buffer刷写到日志。\x0d\x0a# 2：如果设为2,每次提交事务都会写日志，但并不会执行刷的操作。每秒定时会刷到日志文件。要注意的是，并不能保证100%每秒一定都会刷到磁盘，这要取决于进程的调度。\x0d\x0a# 每次事务提交的时候将数据写入事务日志，而这里的写入仅是调用了文件系统的写入操作，而文件系统是有 缓存的，所以这个写入并不能保证数据已经写入到物理磁盘\x0d\x0a# 默认值1是为了保证完整的ACID。当然，你可以将这个配置项设为1以外的值来换取更高的性能，但是在系统崩溃的时候，你将会丢失1秒的数据。\x0d\x0a# 设为0的话，mysqld进程崩溃的时候，就会丢失最后1秒的事务。设为2,只有在操作系统崩溃或者断电的时候才会丢失最后1秒的数据。InnoDB在做恢复的时候会忽略这个值。\x0d\x0a# 总结\x0d\x0a# 设为1当然是最安全的，但性能页是最差的（相对其他两个参数而言，但不是不能接受）。如果对数据一致性和完整性要求不高，完全可以设为2，如果只最求性能，例如高并发写的日志服务器，设为0来获得更高性能\x0d\x0a\x0d\x0ainnodb_log_buffer_size = 2M\x0d\x0a# 此参数确定些日志文件所用的内存大小，以M为单位。缓冲区更大能提高性能，但意外的故障将会丢失数据。MySQL开发人员建议设置为1－8M之间\x0d\x0a\x0d\x0ainnodb_log_file_size = 32M\x0d\x0a# 此参数确定数据日志文件的大小，更大的设置可以提高性能，但也会增加恢复故障数据库所需的时间\x0d\x0a\x0d\x0ainnodb_log_files_in_group = 3\x0d\x0a# 为提高性能，MySQL可以以循环方式将日志文件写到多个文件。推荐设置为3\x0d\x0a\x0d\x0ainnodb_max_dirty_pages_pct = 90\x0d\x0a# innodb主线程刷新缓存池中的数据，使脏数据比例小于90%\x0d\x0a\x0d\x0ainnodb_lock_wait_timeout = 120 \x0d\x0a# InnoDB事务在被回滚之前可以等待一个锁定的超时秒数。InnoDB在它自己的锁定表中自动检测事务死锁并且回滚事务。InnoDB用LOCK TABLES语句注意到锁定设置。默认值是50秒\x0d\x0a\x0d\x0abulk_insert_buffer_size = 8M\x0d\x0a# 批量插入缓存大小， 这个参数是针对MyISAM存储引擎来说的。适用于在一次性插入100-1000+条记录时， 提高效率。默认值是8M。可以针对数据量的大小，翻倍增加。\x0d\x0a\x0d\x0amyisam_sort_buffer_size = 8M\x0d\x0a# MyISAM设置恢复表之时使用的缓冲区的尺寸，当在REPAIR TABLE或用CREATE INDEX创建索引或ALTER TABLE过程中排序 MyISAM索引分配的缓冲区\x0d\x0a\x0d\x0amyisam_max_sort_file_size = 10G\x0d\x0a# 如果临时文件会变得超过索引，不要使用快速排序索引方法来创建一个索引。注释：这个参数以字节的形式给出\x0d\x0a\x0d\x0amyisam_repair_threads = 1\x0d\x0a# 如果该值大于1，在Repair by sorting过程中并行创建MyISAM表索引(每个索引在自己的线程内) \x0d\x0a\x0d\x0ainteractive_timeout = 28800\x0d\x0a# 服务器关闭交互式连接前等待活动的秒数。交互式客户端定义为在mysql_real_connect()中使用CLIENT_INTERACTIVE选项的客户端。默认值：28800秒（8小时）\x0d\x0a\x0d\x0await_timeout = 28800\x0d\x0a# 服务器关闭非交互连接之前等待活动的秒数。在线程启动时，根据全局wait_timeout值或全局interactive_timeout值初始化会话wait_timeout值，\x0d\x0a# 取决于客户端类型(由mysql_real_connect()的连接选项CLIENT_INTERACTIVE定义)。参数默认值：28800秒（8小时）\x0d\x0a# MySQL服务器所支持的最大连接数是有上限的，因为每个连接的建立都会消耗内存，因此我们希望客户端在连接到MySQL Server处理完相应的操作后，\x0d\x0a# 应该断开连接并释放占用的内存。如果你的MySQL Server有大量的闲置连接，他们不仅会白白消耗内存，而且如果连接一直在累加而不断开，\x0d\x0a# 最终肯定会达到MySQL Server的连接上限数，这会报'too many connections'的错误。对于wait_timeout的值设定，应该根据系统的运行情况来判断。\x0d\x0a# 在系统运行一段时间后，可以通过show processlist命令查看当前系统的连接状态，如果发现有大量的sleep状态的连接进程，则说明该参数设置的过大，\x0d\x0a# 可以进行适当的调整小些。要同时设置interactive_timeout和wait_timeout才会生效。\x0d\x0a\x0d\x0a[mysqldump]\x0d\x0aquick\x0d\x0amax_allowed_packet = 16M #服务器发送和接受的最大包长度\x0d\x0a[myisamchk]\x0d\x0akey_buffer_size = 8M\x0d\x0asort_buffer_size = 8M\x0d\x0aread_buffer = 4M\x0d\x0awrite_buffer = 4M
MySQL默认的数据文件存储目录为/var/lib/mysql。假如要把MySQL目录移到/home/data下需要进行下面几步：\x0d\x0a1、home目录下建立data目录\x0d\x0acd /home\x0d\x0amkdir data\x0d\x0a2、把MySQL服务进程停掉\x0d\x0amysqladmin -u root -p shutdown\x0d\x0a3、把/var/lib/mysql整个目录移到/home/data\x0d\x0amv /var/lib/mysql /home/data/\x0d\x0a这样就把MySQL的数据文件移动到了/home/data/mysql下。\x0d\x0a4、找到my.cnf配置文件\x0d\x0a如果/etc/目录下没有my.cnf配置文件，请到/usr/share/mysql/下找到*.cnf文件，拷贝其中一个到/etc/并改名为my.cnf)中。命令如下：\x0d\x0a\x0d\x0a[root@test1 mysql]# cp /usr/share/mysql/my-medium.cnf /etc/my.cnf\x0d\x0a\x0d\x0a5、编辑MySQL的配置文件/etc/my.cnf\x0d\x0a为保证MySQL能够正常工作，需要指明mysql.sock文件的产生位置。修改socket=/var/lib/mysql/mysql.sock一行中等号右边的值为：/home/mysql/mysql.sock。操作如下：\x0d\x0a\x0d\x0avi my.cnf (用vi工具编辑my.cnf文件，找到下列数据修改之)\x0d\x0a# The MySQL server\x0d\x0a[mysqld]\x0d\x0aport = 3306\x0d\x0a#socket = /var/lib/mysql/mysql.sock(原内容，为了更稳妥用“#”注释此行)\x0d\x0asocket = /home/data/mysql/mysql.sock (加上此行) \x0d\x0a\x0d\x0a6、修改MySQL启动脚本/etc/init.d/mysql\x0d\x0a最后，需要修改MySQL启动脚本/etc/init.d/mysql，把其中datadir=/var/lib/mysql一行中，等号右边的路径改成你现在的实际存放路径：home/data/mysql。\x0d\x0a\x0d\x0a[root@test1 etc]# vi /etc/init.d/mysql\x0d\x0a#datadir=/var/lib/mysql(注释此行)\x0d\x0adatadir=/home/data/mysql (加上此行) \x0d\x0a\x0d\x0a7、重新启动MySQL服务\x0d\x0a\x0d\x0a/etc/init.d/mysql start\x0d\x0a\x0d\x0a或用reboot命令重启Linux\x0d\x0a如果工作正常移动就成功了，否则对照前面的7步再检查一下。\x0d\x0a还要注意目录的属主和权限。
import_table(importTable) 的延申功能：可定制化行输入。
import_table(importTable) 我们之前有介绍过，是一款并行导入各种格式文本的工具，封装了 MySQL 语句 load data local infile。
比如说要导入一个以 TAB 为分隔符的文本数据文件：/tmp/sample_ytt.txt 到表：ytt_new.t1，可以执行下面语句：
上面结果是 load data infile 语句的导入结果。如果改用 import_table 方法来做同样的事情，基于 Python 语法，使用方法如下：
那接下来看另外一个需求：在导入文本文件时对每行做预处理（例如在导入数据之前更改列 r2 的值为 mod(r1,10)，列 r5 的值为 abs(r4-46) ），这样可以减少导入后再次处理的时间开销。
这个需求用 load data infile 语句非常容易实现：（导入时更改列 r2 和 r5 的数据，类似 UPDATE 语法）
那如果要用 util.import_table(importTable) 来实现上面的需求，在 MySQL 8.0.22 之前是没办法的。
随着 MySQL 8.0.22 的发布，MySQL 对 import_table 方法做了些扩充功能，其中增加了一个选项 “decodeColumns” 可以实现字段的预先输入定制化功能，并且还可以更加丰富。
接下来用 import_table 来实现上面的需求，定制化字段 r2 和 r5：
以上 Options 选项，见下图：
我来具体解释下上图的含义：蓝色字体 columns 对应的数组分别指定数据文件中的每行字段，也就是默认的 TAB 分隔符所分割的每列值，1 和 2 代表占位符，1 代表数据文件中每行的第一个列，2 代表数据文件中每行的第四列，decodeColumns 字典分别对需要预先输入的字段做处理。比如 r1 字段保留为变量 @1，r2 字段对应 mod(r1,10) 等。
如果还是不太理解变换规则，可以临时打开 general log， 上面 import_table（importTable）对应的 MySQL 日志为：
以上日志写的很清楚，内部转换为最基本的load data infile语法。
那这里我简单解读了下 MySQL 8.0.22 对 MySQL Shell 的一项定制化输入文本文件的新特性，更多的新特性可以继续关注。
重庆分公司
重庆分公司
