召隆企博汇论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 3404|回复: 1

MySQL索引详解和优化技巧

[复制链接]

24

主题

5

回帖

199

积分

公司现有员工

积分
199
发表于 2019-12-9 11:33:39 | 显示全部楼层 |阅读模式
索引(MySQL中也叫“键(Key)")在数据越大的时候越重要。规模小、负载轻的数据库即使没有索引,也能# u$ }4 p$ y* q- g8 \" F+ ^# _! u9 g9 O6 r
有好的性能,但是当数据增加的时候,性能就会很快下降。理解索引如何工作的最简单的方式就是把索引看成
8 p# e3 H0 x- Y- l9 Z( H一本书。为了找到书中一个特定的话题,你须要查看目录,它会告诉你页码。索引会让查询锁定更少的列
8 i7 U) N2 C3 ?1 Y在InnoDB中,只有事务提交后才会解锁
4 Q8 h: ]. v' v( N& ]
- R: Z5 b8 X- r索引包含了来自于表中某一列或多个列的值。如果索引了多列数据,那么列的顺序非常重要,因为MySQL只6 h# u1 u1 b: S# d! u; l' t( F
能高效地搜索索引的最左前缀(Leftmost Prefix)。如你所见,创建一个双列索引和两个单列索引是不一样的。
4 L0 f  M0 w) U; G
& ^8 s; _" x: y! @6 pB-TREE2 e8 q" r9 P! ]8 G% w
能使用B-Tree索引的查询类型。B一Tree索引能很好地用于全键值、键值范围或键前缀查找。它们只有在查找( c( g1 s" h+ B, d+ V0 ?' B
使用了素引的最左前缀(Leftmost Prcfix)的时候才有用。上节中的索引对于以下类型的查询有用。
, w5 W# [$ ?% ]" o3 j# k

  1. $ v8 a! f$ b. i. x0 s' H5 e
  2. CREATE TABLE People(8 O; ~+ ^% \5 J& V
  3. last_name varchar(50)   not  null
    4 \4 c5 t2 T2 H4 ~* n8 b4 C! l
  4.           first_name  varchar(50)     not   null
    + f2 L) q$ k3 F: q
  5.           dob  date      not    null) m  r+ M5 |4 Q, }: h8 X
  6.       gende       enum('m','f')    not    null
    4 d' \6 F9 @% d0 P4 u
  7.         key(last_name,first_name,dob)
复制代码
匹配全名
" G) [# `! ]4 R2 G全键值匹配指和索引中的所有列匹配。例如,索引可以帮你找到一个叫CubaAllen并且出生于1960-01-01。1 e4 a) j- S: Q2 X3 l
的人。
+ t8 N+ {6 Z2 V$ ~8 ?3 _- }# ?4 F7 O. y# l匹配最左前缀: _9 S+ `, x3 p
B-Tree索引可以帮你找到姓为Allen的所有人。这仅仅适用了索引中的第一列。  m- {* w% |+ X: C( q5 w' x. }, c
匹配列前缀/ g3 N/ j6 {' u# @6 j$ S* i
可以匹配某列的值的开头部分。这种索引能帮你找到所有姓氏以J开头的人。这只会使用索引的第1列。! w4 S! N1 B/ @6 m4 B5 d
匹配范围值
' j" b# L4 E( f3 ?这种索引能帮你找到姓大干Allen并且小干Barrymore的人。这也只会使用索引第一列.
( T# Z8 y9 v# ]! u4 Y精确匹配一部分并且匹配某个范围中的另一部分: ~  z% V4 o: x% [
这种索引能帮你找到姓为Allen并且名字以字母K(Kim、Karl等)开头的人。它精确匹配了last
4 T! Z" k  R& N6 d/ P& j3 r列并且对first name列进行了范囤查询。
1 R1 l' W0 ]9 `& ?; x' `' Aname( J! w3 o: {! [; E6 _
只访问索引的查询, E1 p0 Q9 t0 Z
B-Tree索引通常能支持只访问索引的查询,它不会访问数据行。
" g1 B/ L( p) M* s: a- y/ B7 I+ T  B) r0 A3 A! o9 a- T5 [
由于树的节点是排好序的,它们可以用于查找(查找值)和ORDER BY查询(以排序的方式查找值)。通常来说,
3 G" n: ?& T: l/ j* v如果B-Tree能以某种特殊的方式找到某行,那么它也能以同样的方式对行进行排序。因此,上面讨论的所有查
' O' n" |5 l; n& b1 b. U找方式也可以同等地应用于ORDER BY。  B" ]7 y$ m6 K, `
2 m! _  e- S, O, R- F6 ^
下面是B-Tree索引的一些局限:
" {1 k3 T! H* \3 t1 t; |+ L
+ |6 v* w$ d; N1,如果查找没有从索引列的最左边开始,它就没什么用处。例如,这种索引不能帮你找到所有叫Bill的人,( m# m( Q2 Y5 \7 Z# V( s
也不能找到所有出生在某天的人,因为这些列不在索引的最左边。同样,你不能使用该索引查找某个姓
$ d  ]: ^  ~% M; H$ H4 j, A氏以特定字符结尾的人。. b  }2 @% Y5 u1 ^2 ^/ U% m/ o4 X

5 g9 d5 ?- R/ |3 Q) i5 s$ G! O2,不能跳过索引中的列。也就是说,不能找到所有姓氏为Smith并且出生在某个特定日期的人。如果不定' W0 ], k: S% l. u
义first_name列的值,MySQL就只能使用索引的第一列。" g9 I) {. ~6 o! D8 j

. ]7 W, |5 K, Z2 y  O5 h3,存储引擎不能优化访问任何在第一个范围条件右边的列.比如,如果查询是where last_name='Smith' AND first_name LIKE 'J%' and dob ='1967-12-23',访问就只能使用索引的头两列,因为LIKE是
* l/ m. @( @0 ^% ]/ }6 b3 i范围条件(但是服务器能把其余列用于其他目的)。对于某个只有有限值的列,通常使用等干条件,而
1 u; b* `* c- f- Y3 O不是范围条件来绕过这个问题。本章稍后的索引案例中我们会举出详细的例子。
9 r+ E: o' `2 {$ c' \0 b8 D! E/ W0 N: [/ y( |) f, R
哈希索引,空间索引和全文索引等,暂时没有设计
! ^9 O. S; g  G2 E* M
: M/ {1 w, K% E! H* s高性能索引策略
  s  a/ Q% q+ V4 `+ X, c+ Z7 ~# `9 ^# Z, }/ F5 M
1,隔离列,意思就是不要对查询条件中列进行计算等操作
' q# b9 C! |& o3 c2 S9 w2,前缀索引,针对blob和text,较长的varchar类型,使用前缀索引' R9 D$ j* I( B7 Q) m( C7 z, }7 ]6 B
Select count(distinct 列) /count(*) from table;
& N  Q; \$ G4 e+ l% ?4 \看看这个值时多少,如0.0312, @% ~8 X+ o' c' C
那么就是说,如果前缀的选择率能够接近0.0312,基本就可以了。可以在同一个查询中对不同长长度进行计算, g) ^2 b$ ~+ @! V
,这对于大表很有用。1 K1 B6 _+ _8 L. k0 x0 t
Select  count(distinct left(列,3)) /count(*)  as  sel1,
2 M: I: Y7 ?4 g, d count(distinct left(列,4)) /count(*)  as  sel1  ,( P* Y5 c7 O/ c
count(distinct left(列,5)) /count(*)  as  sel1,1 e, ^, |' N- w& s- g6 M1 r4 D" a
count(distinct left(列,6)) /count(*)  as  sel1,
& U9 ?9 C  a! p' X count(distinct left(列,7)) /count(*)  as  sel1   from table;4 w' n, G( O! q
找到接近0.0312即可。1 @: M; s- `3 d3 a8 S
% A" g: n( z8 c' a2 G9 I
Alter table table_name add key (列(7))9 z2 N! g, }, q9 o! |6 E3 L
3,覆盖索引1 j, W7 j8 \0 N0 j8 L: g+ S; w
包含或者覆盖所有满足查询的数据索引叫做覆盖索引
+ ^% F/ o. _; N5 M8 lexplain时,extra中的会显示using index, X0 u* p: G$ x2 h# |. ~
这里一个重要的原则是* L' _4 `7 @2 h+ `/ q" W
select后面的列不能使用*,要使用单独的需要查找的列,使用带索引的列
9 q% w5 L3 U% V6 J. H: L如select id from table_name;3 d' a2 V5 W+ O- B! q. ?
4 w! Z2 r% o, u, w( U2 x; m
很容易把Extra列的“使用索引(Using Index)”和type列的“索引(index)”弄混淆。然而,它们完全不
$ w( B) A, s) \' d一样。type列和覆盖索引没有任何关系,它显示了查询的访问类型,或者说是查询查找数据行的类型。
& K7 n% j2 R+ m; q1 }7 a+ B$ ?5 o
, N" }3 I  ]( c( W" |5 f* d  n; c- g
  1. Explain Select * from table_name where col ='nam' and col1 like '%name%';
    - C. S0 y2 H( G) A0 U% f1 `3 e  b
  2. Extra:using where
复制代码
该索引不能覆盖查询的原因:
3 a/ }, e/ y4 d6 L1,; v; w/ h0 ?$ ^: r8 S
没有索引覆盖查询,因为从表中选择了所有的列,并且没有索引覆盖所有列。MySQL理论上有一个捷径可以使用,但是,WHERE子句只提到了索引覆盖的列,因此MysQL可以使用索引找到col并检查col1是否匹配,这只能通过读取整行进行。+ G( t7 D! |0 f1 P
2,1 I5 d, i2 \2 o8 i. \! x
MySQL不能在索弓l中执行LIKE操作。这是低层次存储引擎API的限制,它只允许在索引进行简单比较。MysQL能在索引中执行前缀匹配的LIKE模式是因为能把它们转化为简单比较,但是查询中前导的通配符是存储引擎无法转化匹配的。因此,MySQL服务器自己将不得不提取和匹配行的数据,而不是索引值。
+ n; J" |  [1 T& r  o有办法可以解决这个问题,那就是合并索引及重写查询。可以把索引进行延伸,让它覆盖(artist,title,prod_id)并且按照下面的方式重写查询:8 Y" j. J" [, l- o7 @
" }, p. o- h6 L' J5 u* }% ~
4,为排序使用索引扫描6 r0 B8 m% }/ M, m- J6 g2 E
mysql有两种产生排序结果的方式:使用文件排序(fileSort),或者扫描有序索引。
( f4 Q8 p5 i8 y5 Nexplain输出type为index,表示mysql会扫描索引0 `/ \% ~2 J; R" \, d  h0 q

. H5 Z( y: ~- e% J& Q0 d扫描索引本身是很快的,因为它只需要从一条索引记录移到另外一条记录。然而,如果MySQL没有使用索引覆盖查询,就不得不查找在索引中发现的每一行。这基本是随机I/O的,因此以索引顺序读取数据通常比顺序扫描表慢得多,尤其对于I/O密集的工作负载.
1 p' e* T- j/ H! ^! q5 c& d$ i7 D4 D5 K2 w/ a9 s3 H' @* _
MySQL能为排序和查找行使用同样的索引。如果可能,按照这样一举两得的方式设计索引是个好主意。
/ T( X$ u) F0 I9 f: T: |# ^, m0 A, t0 X, _+ n8 V& }& \
按照索引对结果进行排序,只有当索引的顺序和ORDER BY子句中的顺序完全一致,并且所有列排序的方向(升序或降序)一样才可以。如果查询联接了多个表,只有在ORDER BY子句的所有列引用的是第一个表才可以。查找查询中的ORDER BY子句也有同样的局限:它要使用索引的最左前级。在其他所有情况下,MySQL使用文件排序。; Q+ f6 [9 e" J

2 v, m  }% x( W8 {$ IORDER BY无须定义索引的最左前级的一种情况是前导列为常量(也就是说第一个索引不能是范围查询,如果是组合索引应该以此为常量)。如果WHERE子句和JOIN子句为这些列定义了常量,它们就能弥补索引的缺陷。
" b. s- T! q: u; R8 B6 b, Q: r4 u) i* j) U& l
使用join可能情况会有不同7 u8 U5 @) f1 l" ^$ @' u9 Z
0 D" O) I$ t/ H
5,压缩索引(myisam)4 j- {. _9 k% ?. Q/ z9 Z
6,多余和重复索引(应该避免)" I# d4 g: S5 i' f+ ^

: A8 P! B. T" [& S多余索引(Redundant Index)和重复索引有一些不同。如果列(A,B)
8 q& s0 K( r+ Z9 F上有索引,那么另外一个列(A)上的
) P$ b6 M$ |5 _3 y' U, `+ i索引就是多余的。这就是说,(A,B)上的索引能被当成(A)上的索引。(这种多余只适合于B一Tree索引。)" H$ k6 S6 k- d3 v7 M
然而,(B,A)上的索引不会是多余的,(B)上的索引也不是,因为列B不是列(A,B)的最左前缀。还有,不同类型的索引(例如哈希或全文索引)对于B一Tree索引不是多余的,无论它们针对的是哪一列。+ C# Q0 E/ o) x3 n+ ^% @

  m# |$ E# H3 V) n4 P9 G$ f要点:" J' K8 ?" Y) E& R; F1 [  ^
在任何可能的地方,都要试着扩展索引(之前是一个列A上面有索引,现在两个列A,B上建立索引),而不是新增索引。通常维护一个多列索引要比维护多个单列索引容易。如果不知道查询的分布,就要尽可能地使索引变得更有选择性,因为高选择性的索引通常更有好处.
6 G8 u4 x1 a5 b: G
. p3 N0 g' m% R/ I( m/ q6 w即使InnoDB使用了索引,它也能锁定不需要的行,这个问题在它不能使用索引找到并锁定行的时候会更严重:如果没有索引,mysql不管是否需要行,都会进行全表扫描并锁定每一行
; q: d+ y' l7 T  }
/ X% N: k' b+ B0 |2 b7 P; D+ O% H9 ]+ \% D3 p' Y- W

3 W3 K; I0 s( ]( q( Y1 `! C* b
回复

使用道具 举报

24

主题

5

回帖

199

积分

公司现有员工

积分
199
 楼主| 发表于 2019-12-9 11:34:27 | 显示全部楼层
创建索引时,3 h* e" k& G" A% v

$ H; g# |: r6 l* E8 b拥有唯一值的列选择性最高,那些具有很多相同值的不适合创建索引
. [5 I- m* V  r% S, T& z: |( ?8 c8 m; l& b+ Y$ D6 G' m- p8 H
) m) x. k3 i- B1 L6 E

* |2 X, {6 j, V3 v9 v一个通用的规则:保持表上的所有选项。当你设计索引的时候,不要只想着已有查询需要的索5 ~0 U2 W" }3 n: i  e2 r

1 E2 \/ J: ~% p. ]  g8 v$ X4 Q$ x引,也要想着优化查询。如果看到需要某个索引,但是一些查询会因它而受到损害,就要问问自己是否应该改变这些查询。应该一起优化查询和索引,以找到最佳的折中。没有必要闭门造车,以得到最好的索引。+ a6 ]" c+ e- Q4 ]" Y

3 g" d+ e) T2 U3 P+ n# _1 t/ U/ {
) D5 H' E1 ~1 @( {9 ]6 l; Z! v! `9 C, U
一个在多列上面的索引,为了是这个索引生效,必须满足最左原则。
% A4 p/ `9 s1 M+ `; P" `- x# a3 q( T0 f9 ?; T
例如inex(a,b,c),这个时候如果只是用了a,c。没有使用b这个时候就不会使用索引。怎么处理/ X1 H) \. x+ }$ s- B4 z6 `/ m

" U& Q" x0 g5 D  i这里如果b是一个可以枚举的类型那么可以使用in(…),将b全部列出。这样相当于b没有起到筛选的作用,但是却可以是索引发挥作用。这个方法也不能滥用,因为会出现n*n的结果,如果枚举数相乘过大,应该选择其他方式" s  Q$ J0 U$ N$ L

% M( f# E7 d, ~8 `* _) ^1 {0 W1 _) t
9 E0 [/ x/ y( A% B% I# U1 B" p7 |: A
避免多个范围条件,只能对其中一个使用索引
! I) t3 `) Z% O/ I: {
' J/ w% f- d9 d- V  G+ V( p. T, v9 S3 }2 b
$ h0 a, X  r7 a. g
索引和表维护3 L7 Z" a, Z# j7 ]* z+ v/ n

& Q+ V8 V5 S* f表维护的主要目标:查找和修复损坏,维护精确的索引统计,并且减少碎片.; A2 r) R2 m1 Q! r0 s
( `  y; j* z5 j7 O  N( b
check table table_name;7 A9 j2 L* q1 p. a% R- @7 ^$ S2 P
repair table table_name;
( h# F& Q& H& F& J2 uShow index from table_name;检查索引的基数性
, Z& r  p4 z) z3 w
$ |' |* x$ G9 g" p主要关注cardinality列,显示存储引擎估计的索引中唯一值的数量* Y- F, @' m# z1 M% }* s6 Q5 C6 ]
0 U: X# Y2 w' r" Q' b

/ G4 [2 j" o! @3 _2 x+ ^# k: p2 `5 Y4 O
B-Tree索引能变成碎片,它降低了性能。碎片化的索引可能会以很差或非顺序的方式保存在磁盘上。
/ e! X! \0 K+ p" Q  k, Z/ g) V8 f+ i0 J) v0 K8 g, T) B
表数据也能变成碎片化。两种类型:- R( L# f. i) D7 ]6 P# h3 ?6 g% {

8 [/ {# u' Q7 }9 M2 }2 }! M/ E, k1,行碎片
5 H3 K9 U9 l5 I' ?" B
- W3 P# a  R4 `' k- Z0 P$ b当行披存储在多个地方的多个片段中时,就会是这种碎片。即使查询只从索引中找一行数据,行碎片也会降低性能。
$ e5 Q7 w6 r6 D  W& U
7 k4 Z, @3 \' k) c( r2 `7 h# S* g* a6 B9 ]9 M
$ B3 @) d/ U" x' o  S
2,内部行碎片
  ~7 }  `& r0 t
7 w& X- I. y/ J7 X1 _6 U% @当逻辑上顺序的页面或行在磁盘上没有被顺序存储的时候,就会产生这种碎片。它影响了诸如全表扫描和
9 v) V" O/ O( g7 U" B: B8 \, d' E4 d
聚集素引范围扫描这样的操作。这些操作通常从磁盘上的顺序数据布局得益。0 X* _6 b6 T' P& a; [- N

' S# G) W3 E& H9 ?% R7 u3 Z0 g! m7 j# W# Z0 Y

8 h( E! [/ T0 w" H' i为了消除碎片,可以允许OPTIMIZE TABLE或转储并重新加载数据。7 j  x8 O: H+ ]: `

5 c! D$ A8 [* d- w
/ G' {. [4 u0 r; P+ _' B5 v" t! T, ^0 `1 @8 m! e6 N$ a2 ]
ALTER TABLE <table> ENGINE=<engine>+ W7 w# y+ _  q- @' A  G

9 [! A$ V3 h) |! [$ z8 O! s* f1 d6 E5 w+ v" x+ n

$ s8 X: z4 \$ K加速ALTER TABLE2 {  d( M4 n. p9 X! X1 e8 E

- u$ m" ]* d: Y' I% m/ _# M/ m2 h
' K. j1 o- w: ?& E# a, i
- k( S: @1 U9 N! z( XMySQL的ALTER TABLE的性能在遇到很大的表的时候会出问题。MySQL执行大部分更改操作都是新建一个需
* [8 ^$ r; h$ g- f& U
. a' `/ \. t% h3 A' X要的结构的空表,然后把所有老的数据插入到新表中,最后删除旧表.这会耗费很多时间,尤其是在内存紧张,0 }( U3 r% d. D! m: [2 Z

: O1 H) i7 O) z* L1 b而表很大并含有很多索引的时候.许多人都遇到过ALTER TABLE操作需要几小时或几天才能完成的情况。
0 c! ]; v' @% w4 Y6 G* j$ C2 Z/ b, t0 X( s$ `6 _4 ]
传统:
: V8 K5 o* a5 s8 B1 s& y$ i& b4 w% ]8 ?
ALTER TABLE table_name MODIFY COLUMN col TINYINT(3) NOT NULL DEFAULT 5;
% Z( v' [0 ^8 _3 ~0 i* M理论上,MySQL能跳过构建一个新表的方式。列的默认值实际保存在表的.frm文件中,因此可以不接触表而更
+ V$ H' y1 U3 [5 N改它。MySQL没有使用这种优化,然而,任何MODIFY COLUMN都会导致表重建。
, ]0 f; P4 c0 R
) w1 T1 Q( S; o  F6 q, N" _变化:) X$ O5 D. g8 L" K; Q9 s

5 ?  O0 w  X: J+ G: b, qALTER TABLE table_name ALTER COLUMN col SET DEFAULT 5;
& l0 t! D; e* V4 R这个命令更改了.frm文件并且没有改动表。它非常快。+ C; U' n0 Q: M& a. t
还有一个CHANGE COLUMN
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|召隆企博汇 ( 粤ICP备14061395号 )

GMT+8, 2026-10-31 17:25 , Processed in 0.035333 second(s), 25 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表