mycat - 编程之家

mycat ascii码通配取模 org.opencloudb.route.function.PartitionByPrefixPattern

配置mycat ascii码通配取模报错信息： Caused by: java.lang.ClassNotFoundException: org.opencloudb.route.function.PartitionByPrefixPattern 是因为这个1.6版本做了改动，对应的。jar文件在io.mycat.route.function.PartitionByPrefixPattern下

作者：编程之家时间：2020-07-03

mycat server.xml的优化

最近在研究mycat的一些优化需要就在mycat权威里面server.xml的注视一些说明弄了出来 defaultSqlParser 由二mycat最初时候Foundation DB�sql解析器，而后才添加�Druid的解析器。所以返个属性用来�定默的解析器。目前�可用�值有：druidparser跟 fdbparser。使用�时候可以选择其中�一种，目前一般都使用druidparser。有：

作者：编程之家时间：2020-06-08

myCat schema.xml详解

schema.xml 是mycat重要的配置文件之一，管理者mycat的逻辑库、表、分片规则、DataNode以及DataSource。想要了解使用mycat就要弄清楚schema里面的标签含义，下面将介绍一下schema里面的详细内容。首先 mycat自带的schema.xml 如下所示：

作者：编程之家时间：2020-06-12

Hello Mr.J——Mycat加载用户配置，各种XML

上一篇中在初始化的时候，有读取用户配置的代码，这次我们进来看看。这里的大部分初始化配置都是基于构造函数的。 MycatServer的构造函数中有个MycatConfig，这个类是保存读取的结果，具体的读取过程是ConfigInitializer来完成的。这里的注释很全，我就不要脸的直接贴了。 public MycatConfig() { //读取schema.xml，ru

作者：编程之家时间：2020-06-15

Mycat之——配置文件server.xml

来源URL：http://www.voidcn.com/article/p-hpvmmofe-bdx.html 可能存在版本问题，以下仅供参考 server.xml几乎保存了所有mycat需要的系统配置信息。其在代码内直接的映射类为SystemConfig类。现在就对这个文件中的配置，一一介绍。 user标签 [html] view plain copy <user name="test"

作者：编程之家时间：2020-06-15

Mycat之——配置文件schema.xml

来源URL：http://www.voidcn.com/article/p-pvxubnzv-bdx.html 可能存在版本问题，以下仅供参考今天，给大家带来一篇数据库中间件——Mycat的文章，Schema.xml作为MyCat中重要的配置文件之一，管理着MyCat的逻辑库、表、分片规则、DataNode以及DataSource。弄懂这些配置，是正确使用MyCat的前提。这里就一层层对该文件进

作者：编程之家时间：2020-06-15

Mycat之——配置文件rule.xml

来源URL：http://www.voidcn.com/article/p-rithsshr-bdx.html 可能存在版本问题，以下仅供参考 rule.xml里面就定义了我们对表进行拆分所涉及到的规则定义。我们可以灵活的对表使用不同的分片算法，或者对表使用相同的算法但具体的参数不同。这个文件里面主要有tableRule和function这两个标签。在具体使用过程中可以按照需求添加tableRu

作者：编程之家时间：2020-06-15

MyCat配置文件详解--server.xml

server.xml 包含mycat的系统配置信息，它有两个标签，分别是user和system，掌握system标签的各项配置属性是mycat调优的关键。 <?xml version="1.0" encoding="UTF-8"?> <!-- - - Licensed under the Apache License, Version 2.0 (the "License");

作者：编程之家时间：2020-06-19

MyCat配置文件详解--schema.xml

schema.xml 涵盖了MyCat的逻辑库、表、分片规则、分片节点及数据源。 <?xml version="1.0"?> <!DOCTYPE mycat:schema SYSTEM "schema.dtd"> <mycat:schema xmlns:mycat="http://io.mycat/"> <!-- schema 定义mycat中的逻

作者：编程之家时间：2020-06-19

mycat的schema.xml

一、一个简单的schema.xml文件： 1、文件内容： <?xml version="1.0"?> <!DOCTYPE mycat:schema SYSTEM "schema.dtd"> <mycat:schema xmlns:mycat="http://io.mycat/"> <!-- 设置表的存储方式.schema name="TESTDB" 与 server.xml中的 T

作者：编程之家时间：2020-06-19

【Mycat1.6之操作Oracle案例】

一、启动数据库/配置Schema文件 Last login: Tue Apr 25 12:06:17 2017 [root@node1 ~]# su - oracle [oracle@node1 ~]$ sqlplus / as sysdba SQL*Plus: Release 10.2.0.1.0 - Production on Tue Apr 25 12:07:03 2017 Co

作者：编程之家时间：2020-07-03

Mysql系列五：数据库分库分表中间件mycat的安装和mycat配置详解

作者：编程之家时间：2019-02-10

Mysql系列六：Mycat分片路由原理、Mycat常用分片规则及对应源码介绍

一、Mycat分片路由原理我们先来看下面的一个SQL在Mycat里面是如何执行的：select * from travelrecord where id in(5000001, 10000001);有3个分片dn1,dn2,dn3, id=5000001这条数据在dn2上，id=10000001这条数据在dn3上。查询时可能有出现的问题：1）全部扫描一遍dn1 dn2 dn3，结果导致性能浪费。2）只扫描某个片。漏掉数据的情况。总结：不能多扫——>性能不足也不能少——>漏掉数据那么Mycat是如何解决上面的问题的呢？Mycat使用Druid的DruidParser作为分析器/解析器，解析的过程主要有Visitor和Statement两个阶段说明：1）Visitor过程，解析出如下属性：哪一张表字段列表条件信息什么样的SQL解析出以上信息以后就可以根据schema.xml和rule.xml文件确认要去哪个分片上进行DML操作了2）Statement过程转化：转化后知道执行的是什么样的SQL（增删改查）3）改写SQL通过查询条件可以知道要查询的数据都在哪些分片上Dn2， id= 5000001Dn3， id= 100000001所以SQL被改写成以下的形式：select * from travelrecord where id = 5000001；（dn2执行）select * from travelrecord where id = 10000001；（dn3执行）4）分别在分片dn2，dn3上执行第 3）步改写的SQL，然后把从dn2，dn3上得到的结果进行拼装就是最终的结果了备注：多表关联查询的时候，visitor会遍历出所有的表，然后去各个分片上去获取结果，同时把结果缓存起来，最后根据关联查询计算出结果。确定分片的过程：首先看where条件里面是否含有分片字段，有就根据分片字段的值结合schema.xml、rule.xml的值确定是哪个分片。当不能确定在哪一个分片上的时候，mycat会到所有的分片上去找二、Mycat常用分片规则1. 时间类：按天分片、自然月分片、单月小时分片2. 哈希类：Hash固定分片、日期范围Hash分片、截取数字Hash求模范围分片、截取数字Hash分片、一致性Hash分片3. 取模类：取模分片、取模范围分片、范围求模分片4. 其他类：枚举分片、范围约定分片、应用指定分片、冷热数据分片下面基于源码来介绍Mycat的常用分片规则，源码地址三、Mycat常用分片规则介绍说明：分片规则都定义在rule.xml文件里面<tableRule name="rule1"><rule><columns>id</columns><algorithm>func1</algorithm></rule></tableRule><function name="func1" class="io.mycat.route.function.PartitionByLong"><property name="partitionCount">1,1,2,3,1</property><property name="partitionLength">128,128,128,128,128</property></function>1. 自动范围分片在rule.xml里面的配置：<tableRule name="auto-sharding-long"><rule><columns>id</columns><algorithm>rang-long</algorithm></rule></tableRule><function name="rang-long"class="io.mycat.route.function.AutoPartitionByLong"><property name="mapFile">autopartition-long.txt</property></function>说明：有3个分片，第1个分片存储的是1-500000的数据，第2个分片存储的是500001-1000000的数据，第3个分片存储的是1000001-1500000的数据insert into employee(id, name) value(1,Tom);在第1个分片insert into employee(id, name) value(500002,Jack);在第2个分片insert into employee(id, name) value(1000002,Lucy);在第3个分片对应代码：package io.mycat.route.function;import java.io.BufferedReader;import java.io.InputStream;import java.io.InputStreamReader;import java.util.HashSet;import java.util.LinkedList;import java.util.Set;import io.mycat.config.model.rule.RuleAlgorithm;/*** auto partition by Long ,can be used in auto increment primary key partition** @author wuzhi*/public class AutoPartitionByLong extends AbstractPartitionAlgorithm implements RuleAlgorithm{private String mapFile;private LongRange[] longRongs;private int defaultNode = -1;@Overridepublic void init() {initialize();}public void setMapFile(String mapFile) {this.mapFile = mapFile;}@Overridepublic Integer calculate(String columnValue) {// columnValue = NumberParseUtil.eliminateQoute(columnValue);try {long value = Long.parseLong(columnValue);Integer rst = null;for (LongRange longRang : this.longRongs) {if (value <= longRang.valueEnd && value >= longRang.valueStart) {return longRang.nodeIndx;}}//数据超过范围，暂时使用配置的默认节点if (rst == null && defaultNode >= 0) {return defaultNode;}return rst;} catch (NumberFormatException e){throw new IllegalArgumentException(new StringBuilder().append("columnValue:").append(columnValue).append(" Please eliminate any quote and non number within it.").toString(),e);}}@Overridepublic Integer[] calculateRange(String beginValue, String endValue) {return AbstractPartitionAlgorithm.calculateSequenceRange(this, beginValue, endValue);}@Overridepublic int getPartitionNum() {// int nPartition = longRongs.length;/** fix #1284 这里的统计应该统计Range的nodeIndex的distinct总数*/Set<Integer> distNodeIdxSet = new HashSet<Integer>();for(LongRange range : longRongs) {distNodeIdxSet.add(range.nodeIndx);}int nPartition = distNodeIdxSet.size();return nPartition;}private void initialize() {BufferedReader in = null;try {// FileInputStream fin = new FileInputStream(new File(fileMapPath));InputStream fin = this.getClass().getClassLoader().getResourceAsStream(mapFile);if (fin == null) {throw new RuntimeException("can't find class resource file "+ mapFile);}in = new BufferedReader(new InputStreamReader(fin));LinkedList<LongRange> longRangeList = new LinkedList<LongRange>();for (String line = null; (line = in.readLine()) != null;) {line = line.trim();if (line.startsWith("#") || line.startsWith("//")) {continue;}int ind = line.indexOf('=');if (ind < 0) {System.out.println(" warn: bad line int " + mapFile + " :"+ line);continue;}String pairs[] = line.substring(0, ind).trim().split("-");long longStart = NumberParseUtil.parseLong(pairs[0].trim());long longEnd = NumberParseUtil.parseLong(pairs[1].trim());int nodeId = Integer.parseInt(line.substring(ind + 1).tri

作者：编程之家时间：2019-02-10

Mysql系列八：Mycat和Sharding-jdbc的区别、Mycat分片join、Mycat分页中的坑、Mycat注解、Catlet使用

一、Mycat和Sharding-jdbc的区别1）mycat是一个中间件的第三方应用，sharding-jdbc是一个jar包2）使用mycat时不需要改代码，而使用sharding-jdbc时需要修改代码Mycat(proxy中间件层):Sharding-jdbc(TDDL为代表的应用层):二、Mycat分片join在前面的文章Mysql系列四：数据库分库分表基础理论中，已经说过分库分表需要应对的技术难题有如下几个：1.）分布式全局唯一id2.）分片规则和策略3.）跨分片技术问题4.）跨分片事物问题下面我们来看一下Mycat是如何解决跨分片技术问题——分片join的1. 使用全局表方式解决跨分片join问题1.1 先在server.xml里面全局表一致性检测<property name="useGlobleTableCheck">1</property> 1.2 在schema.xml里面配置全局表<table name="company" primaryKey="ID" type="global" dataNode="dn1,dn2,dn3" />全局表说明：1）全局表的插入、更新操作会实时在所有节点上执行，保持各个分片数据的一致性2）全局表的查询操作只从一个节点上获取3）全局表可以跟任何一个表进行join操作2. 使用Share Join方式解决跨分片join问题Share Join是一个简单的跨分片join，基于HBT（Human Brain Tech）的方式实现。原理：解析SQL语句，拆分成单表的SQL语句执行，然后把各个节点的数据汇集。示例：/*!mycat:catlet=io.mycat.catlets.ShareJoin*/select * from employee a, employee_detail b where a.id = b.id;说明：目前只支持两张分片表的Join，如果要支持多张表需要自己改造程序代码或者改造Mycat的源代码对应Mycat源码：io.mycat.catlets.ShareJoinio.mycat.catlets.Catletpublic class ShareJoin implements Catlet3. 使用ER Join方式解决跨分片join问题ER表也叫父子表，子表存储在哪个分片上依赖于父表的存储位置，并且和父表存储同一个分片上，即子表的记录与所关联的父表记录存放在同一个数据分片上，从而解决跨库join的问题在schema.xml里面的配置<table name="customer" primaryKey="ID" dataNode="dn1,dn2" rule="sharding-by-intfile"><childTable name="orders" primaryKey="ID" joinKey="customer_id" parentKey="id"><childTable name="order_items" joinKey="order_id" parentKey="id" /></childTable><childTable name="customer_addr" primaryKey="ID" joinKey="customer_id" parentKey="id" /></table>说明：childTable：标签用来声明子表：joinKey：声明子表的那个字段和父表关联parentKey：声明父表的关联主键primaryKey：父表自身的主键三、Mycat分页中的坑Mycat分页的大坑一定要注意：在对应的分片上去查询分页数据的时候是从第一条记录开始扫描，然后再取出对应的分页数据，如SELECT * FROM customer ORDER BY id LIMIT 1000100, 100;这个sql语句被Mycat转化后1 -> dn1{SELECT * FROM customer ORDER BY id LIMIT 0, 1000100}2 -> dn2{SELECT * FROM customer ORDER BY id LIMIT 0, 1000100}所以要在Mycat的server.xm里面开启使用非堆内存。否则内存会爆掉<property name="useOffHeapForMerge">1</property>优化：1）先查出idSELECT id FROM customer ORDER BY id LIMIT 1000100, 100;这个sql语句被mycat转化后1 -> dn1{SELECT id FROM customer ORDER BY id LIMIT 0, 1000100}2 -> dn2{SELECT id FROM customer ORDER BY id LIMIT 0, 1000100}2) 拿到所有的id以后再取获取需要的数据SELECT * FROM customer where id in(1,2,3....);这个sql语句被mycat转化后1 -> dn1{SELECT * FROM customer where id in(1,2,3....);}2 -> dn2{SELECT * FROM customer where id in(1,2,3....);}四、Mycat注解1. Mycat不支持的SQL语句：1) 某些SQL语法，如insert into......select.....2) 跨库关联查询3）存储过程创建4）存储过程调用所以Mycat提供Mycat注解来解决上面这些不支持的SQL语句Mycat的解决办法：Mycat注解语法：/*!mycat:sql=Mycat注解SQL语句*/真正执行的SQL !号方式/*#mycat:sql=Mycat注解SQL语句*/真正执行的SQL #号方式/**mycat:sql=Mycat注解SQL语句*/真正执行的SQL *号方式原理：使用mycat不支持的SQL替换mycat支持的SQL，运行Mycat不支持的SQLMycat注解规范：1) 注解SQL使用select语句，不允许使用delete/update/insert等语句；虽然delete/update/insert等语句也能用在注解中，但这些语句在Sql处理中有额外的逻辑判断，从性能考虑，请使用select语句。2) 注解SQL禁用表关联语句。3) 注解SQL尽量用最简单的SQL语句，如select id from tab_a where id=’10000’（如果必要，最好能在注解中指定分片）4) 无论是原始SQL 还是注解SQL，禁止DDL语句5) 能不用注解的尽量不用2. Mycat注解解决不支持insert into......select...../*!mycat:sql=select 1*/insert into travelrecord(id,user_id,traveldate,fee,days) select 3,'Tom','20180826',100,8；3. Mycat注解创建表/*!mycat:sql=select 1 from test */create table test2(id int);4. Mycat注解创建存储过程/*!mycat:sql=select 1 from test */create procedure 'test_proc()' begin end;5. Mycat注解调用存储过程/*!mycat:sql=select * from user where id=1 */call test_proc();6. Mycat注解读写分离数据源选择/*!mycat:db_type=master */select * from travelrecord;(强制走主库)/*!mycat:db_type=slave */select * from travelrecord;(强制走从库)五、Catlet使用通过Catlet支持跨分片复杂SQL实现以及存储过程支持等等使用方式：通过mycat注解方式来执行1. 跨分片联合查询注解支持/*!mycat:catlet=io.mycat.catlets.ShareJoin */select o.id,u.* from order o,user u where o.user_id=u.id;2. 批量插入与ID自增长结合的支持/*!mycat:catlet=io.mycat.route.sequence.BatchInsertSequence */insert into user(name) values('Tom'),('Cat'),('Alan');

作者：编程之家时间：2019-02-10

Mysql系列九：使用zookeeper管理远程Mycat配置文件、Mycat监控、Mycat数据迁移扩容

作者：编程之家时间：2019-02-10