分类目录归档:MYSQL

MySQL索引使用

一、索引的利处
很多朋友对数据库中的索引的认识可能主要还是只限于“能够提高数据检索的效率,降低数据库的IO成本”。

确实,在数据库中个表的某个字段创建索引,所带来的最大益处就是将该字段作为检索条件的时候可以极大的提高检索效率,加快检索时间,降低检索过程中所需要读取的数据量。但是索引所给我们带来的收益只是提高表数据的检索效率吗?当然不是,索引还有一个非常重要的用途,那就是降低数据的排序成本。

我们知道,每个索引中索引数据都是按照索引键键值进行排序后存放的,所以,当我们的Query语句中包含排序分组操作的时候,如果我们的排序字段和索引键字段刚好一致,MySQL Query Optimizer就会告诉mysqld在取得数据之后不用排序了,因为根据索引取得的数据已经是满足客户的排序要求。

那如果是分组操作呢?分组操作没办法直接利用索引完成。但是分组操作是需要先进行排序然后才分组的,所以当我们的Query语句中包含分组操作,而且分组字段也刚好和索引键字段一致,那么mysqld同样可以利用到索引已经排好序的这个特性而省略掉分组中的排序操作。

继续阅读MySQL索引使用

MySQL索引类型

在MySQL中,主要有四种类型的索引,分别为:B-Tree索引,Hash索引,Fulltext索引和R-Tree索引。

一、B-Tree索引

B-Tree索引是MySQL数据库中使用最为频繁的索引类型,除了Archive存储引擎之外的其他所有的存储引擎都支持B-Tree索引。不仅仅在MySQL中是如此,实际上在其他的很多数据库管理系统中B-Tree索引也同样是作为最主要的索引类型,这主要是因为B-Tree索引的存储结构在数据库的数据检索中有非常优异的表现。

一般来说,MySQL中的B-Tree索引的物理文件大多都是以Balance Tree的结构来存储的,也就是所有实际需要的数据都存放于Tree的Leaf Node,而且到任何一个Leaf Node的最短路径的长度都是完全相同的,所以我们大家都称之为B-Tree索引。当然,可能各种数据库(或MySQL的各种存储引擎)在存放自己的B-Tree索引的时候会对存储结构稍作改造。如Innodb存储引擎的B-Tree索引实际使用的存储结构实际上是B+Tree,也就是在B-Tree数据结构的基础上做了很小的改造,在每一个Leaf Node上面除了存放索引键的相关信息之外,还存储了指向与该Leaf Node相邻的后一个Leaf Node的指针信息,这主要是为了加快检索多个相邻Leaf Node的效率考虑。

继续阅读MySQL索引类型

MySQL Profiler使用

要想优化一条Query,我们就需要清楚的知道这条Query的性能瓶颈到底在哪里,是消耗的CPU计算太多,还是需要的的IO操作太多?

MySQL的Query Profiler是一个使用非常方便的Query诊断分析工具,通过该工具可以获取一条Query在整个执行过程中多种资源的消耗情况,如CPU,IO,IPC,SWAP等,以及发生的PAGE FAULTS,CONTEXT SWITCHE等等,同时还能得到该Query执行过程中MySQL所调用的各个函数在源文件中的位置。

1、打开profiling参数


mysql> set profiling=1;
Query OK, 0 rows affected, 1 warning (0.00 sec)

2、查询sql语句


mysql> select count(*) from t_crcs_check_diff;
+----------+
| count(*) |
+----------+
|    12608 |
+----------+
1 row in set (0.01 sec)

继续阅读MySQL Profiler使用

MySQL Explain使用

MySQL Query Optimizer通过我让们执行EXPLAIN命令来告诉我们他将使用一个什么样的执行计划来优化我们的Query。所以,可以说Explain是在优化Query时最直接有效的验证我们想法的工具。

在我们对某个Query优化过程中,需要不断的使用Explain来验证我们的各种调整是否有效。

一、我们先看一下在MySQL Explain功能中给我们展示的各种信息的解释:

1、ID:Query Optimizer所选定的执行计划中查询的序列号;

2、Select_type:所使用的查询类型,主要有以下这几种查询类型
1)DEPENDENT SUBQUERY:子查询中内层的第一个SELECT,依赖于外部查询的结果集;
2)DEPENDENT UNION:子查询中的UNION,且为UNION中从第二个SELECT开始的后面所有SELECT,同样依赖于外部查询的结果集;
3)PRIMARY:子查询中的最外层查询,注意并不是主键查询;
4)SIMPLE:除子查询或者UNION之外的其他查询;
5)SUBQUERY:子查询内层查询的第一个SELECT,结果不依赖于外部查询结果集;
6)UNCACHEABLE SUBQUERY:结果集无法缓存的子查询;
7)UNION:UNION语句中第二个SELECT开始的后面所有SELECT,第一个SELECT为PRIMARY;
8)UNION RESULT:UNION中的合并结果;

继续阅读MySQL Explain使用

MySQL的Query语句优化

一、Query Optimizer

1、MySQL Query Optimizer是什么
是MySQL查询语句优化器,其主要的功能就是通过计算分析系统中收集的各种统计信息,为客户端请求的Query给出他认为最优的执行计划,也就是他认为最优的数据检索方式。

2、MySQL Query Optimizer基本工作原理
MySQL的Query Tree是通过优化实现DBXP的经典数据结构和Tree构造器而生成的一个指导完成一个Query语句的请求所需要处理的工作步骤,我们可以简单的认为就是一个的数据处理流程规划,只不过是以一个Tree的数据结构存放而已。通过Query Tree我们可以很清楚的知道一个Query的完成需要经过哪些步骤的处理,每一步的数据来源在哪里,处理方式是怎样的。

当客户端向MySQL请求一条Query ,到命令解析器模块完成请求分类区别出是SELECT并转发给Query Optimizer之后,Query Optimizer首先会对整条Query进行,优化处理掉一些常量表达式的预算,直接换算成常量值。并对Query中的查询条件进行简化和转换,如去掉一些无用或者显而易见的条件,结构调整等等。然后则是分析Query中的Hint信息(如果有),看显示Hint信息是否可以完全确定该Query的执行计划。如果没有Hint或者Hint信息还不足以完全确定执行计划,则会读取所涉及对象的统计信息,根据Query进行写相应的计算分析,然后再得出最后的执行计划。

继续阅读MySQL的Query语句优化

MySQL数据库锁—(二)Innodb锁定模式

总的来说,Innodb的锁定机制和Oracle数据库有不少相似之处。Innodb的行级锁定同样分为两种类型,共享锁和排他锁,而在锁定机制的实现过程中为了让行级锁定和表级锁定共存,Innodb也同样使用了意向锁(表级锁定)的概念,也就有了意向共享锁和意向排他锁这两种。

1、共享锁—读锁
共享锁,简称(S锁),用于不更改或不更新数据的操作(只读操作),例如select
当事务对数据加上读锁后,其他事务只能对该数据加读锁,不能做任何修改操作,也就是不能添加写锁

2、排他锁—写锁
排他锁,简称(X锁),用于数据修改操作(写操作),例如insert、update、delete
当事务对数据加上写锁后,其他事务既不能对该数据添加读锁,也不能对该数据添加写锁,写锁与其他锁都是互斥的。只有当前数据写锁被释放后,其他事务才能对其添加写锁或者是读锁

3、意向锁
意向锁分为:意向共享锁(IS)、意向排他锁(IX)
意向锁的作用就是当一个事务在需要获取资源锁定的时候,如果遇到自己需要的资源已经被排他锁占用的时候,该事务可以需要锁定行的表上面添加一个合适的意向锁。
如果自己需要一个共享锁,那么就在表上面添加一个意向共享锁。
如果自己需要的是某行(或者某些行)上面添加一个排他锁的话,则先在表上面添加一个意向排他锁。

继续阅读MySQL数据库锁—(二)Innodb锁定模式

MySQL数据库锁

一、锁机制简介

总的来说,MySQL各存储引擎使用了三种类型(级别)的锁定机制:行级锁定,页级锁定和表级锁定。下面我们先分析一下MySQL这三种锁定的特点和各自的优劣所在。

1、行级锁定(row-level)
行级锁定最大的特点就是锁定对象的颗粒度很小,也是目前各大数据库管理软件所实现的锁定颗粒度最小的。由于锁定颗粒度很小,所以发生锁定资源争用的概率也最小,能够给予应用程序尽可能大的并发处理能力而提高一些需要高并发应用系统的整体性能。

虽然能够在并发处理能力上面有较大的优势,但是行级锁定也因此带来了不少弊端。由于锁定资源的颗粒度很小,所以每次获取锁和释放锁需要做的事情也更多,带来的消耗自然也就更大了。此外,行级锁定也最容易发生死锁。

2、表级锁定(table-level)
和行级锁定相反,表级别的锁定是MySQL各存储引擎中最大颗粒度的锁定机制。该锁定机制最大的特点是实现逻辑非常简单,带来的系统负面影响最小。所以获取锁和释放锁的速度很快。由于表级锁一次会将整个表锁定,所以可以很好的避免困扰我们的死锁问题。

继续阅读MySQL数据库锁

MySQL性能的相关因素

一、商业需求对性能的影响

不合理需求造成资源投入产出比过低

需求是否合理很多时候可能并不是很容易界定,尤其是作为技术人员来说,可能更难以确定一个需求的合理性。即使指出,也不一定会被产品经历们认可。那作为技术人员的我们怎么来证明一个需求是否合理呢?

第一、每次产品经理们提出新的项目(或者功能需求)的时候,应该要求他们同时给出该项目的预期收益的量化指标,以备项目上先后统计评估投入产出比率;
第二、在每次项目进行过程中,应该详细记录所有的资源投入,包括人力投入,硬件设施的投入,以及其他任何项目相关的资源投入;
第三、项目(或者功能需求)上线之后应该及时通过手机相关数据统计出项目的实际收益值,以便计算投入产出比率的时候使用;
第四、技术部门应该尽可能推动设计出一个项目(或者功能需求)的投入产出比率的计算规则。在项目上线一段时间之后,通过项目实际收益的统计数据和项目的投入资源量,计算出整个项目的实际投入产出值,并公布给所有参与项目的部门知晓,同时存放以备后查。

继续阅读MySQL性能的相关因素

MySQL数据库备份

一、数据库逻辑备份

1、什么样的备份是数据库逻辑备份
数据库逻辑备份就是备份软件按照我们最初所设计的逻辑关系,以数据库的逻辑结构对象为单位,将数据库中的数据按照预定义的逻辑关联格式一条一条生成相关的文本文件,以达到备份的目的。

2、常用的逻辑备份
在MySQL中我们常用的逻辑备份主要就是两种,一种是将数据生成可以完全重现当前数据库中数据的INSERT语句,另外一种就是将数据通过逻辑备份软件,将我们数据库表数据以特定分隔符进行分隔后记录在文本文件中。

3、生成INSERT语句备份
在MySQL数据库中,我们一般都是通过MySQL数据库软件自带工具程序中的mysqldump来实现生成INSERT语句的逻辑备份文件。

4、备份时数据的一致性和完整性要求
我们知道,想数据库中的数据一致,那么只有两种情况下可以做到。
第一、同一时刻取出所有数据;
第二、数据库中的数据处于静止状态。

继续阅读MySQL数据库备份

MySQL访问控制实现原理

MySQL访问控制实际上由两个功能模块共同组成,一个是负责“看守MySQL大门”的用户管理模块,另一个就是负责监控来访者每一个动作的访问控制模块。用户管理模块决定造访客人能否进门,而访问控制模块则决定每个客人进门能拿什么不能拿什么。

一、用户管理
1、mysql.user表
访问者提供来源的主机名(或者主机IP地址信息)和访问者的来访“暗号”(登录用户名和登录密码),这两部分中的任何一个没有能够匹配上都无法让看守大门的用户管理模块乖乖开门。
Host存放信任的主机,可以是:
1)主机名(如:mytest)
2)域名(如:www.domain.com)
3)以“%”来充当通配符的某个域名集合(如:%.domain.com)
4)一个具体的IP地址(如:1.2.3.4)
5)存在通配符的IP集合(如:1.2.3.%)
6)用“%”代表任何主机

继续阅读MySQL访问控制实现原理