召隆企博汇论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 3007|回复: 1

MySQL索引详解和优化技巧

[复制链接]

24

主题

5

回帖

199

积分

公司现有员工

积分
199
发表于 2019-12-9 11:33:39 | 显示全部楼层 |阅读模式
索引(MySQL中也叫“键(Key)")在数据越大的时候越重要。规模小、负载轻的数据库即使没有索引,也能' z: U6 @$ @1 ]# B, D
有好的性能,但是当数据增加的时候,性能就会很快下降。理解索引如何工作的最简单的方式就是把索引看成
6 Q7 ^6 O6 X: H) c# S1 k5 Q7 S一本书。为了找到书中一个特定的话题,你须要查看目录,它会告诉你页码。索引会让查询锁定更少的列+ v# {; w5 l, M2 z& ?
在InnoDB中,只有事务提交后才会解锁
. `( F+ W% ^$ X- I7 K9 @$ f, |
* e! S* q; @3 Z* d8 ?+ `索引包含了来自于表中某一列或多个列的值。如果索引了多列数据,那么列的顺序非常重要,因为MySQL只! _: ~( P$ P) Z5 U
能高效地搜索索引的最左前缀(Leftmost Prefix)。如你所见,创建一个双列索引和两个单列索引是不一样的。
- ^1 _- A% k, t5 _- I! [: N/ L+ A
B-TREE
1 D0 N4 R% x  U4 X- F能使用B-Tree索引的查询类型。B一Tree索引能很好地用于全键值、键值范围或键前缀查找。它们只有在查找
( Y( I* c8 O' N% `+ a使用了素引的最左前缀(Leftmost Prcfix)的时候才有用。上节中的索引对于以下类型的查询有用。
% b9 Y/ j# _: s4 M

  1. , N( C, j  ^. L4 v0 X6 s
  2. CREATE TABLE People(
    7 h9 m" _& {, y0 x- i# i5 s
  3. last_name varchar(50)   not  null. V5 Z. E) Z8 Q% c3 z2 `; v
  4.           first_name  varchar(50)     not   null
    3 m1 q1 A1 C" F
  5.           dob  date      not    null- X$ i7 g; [8 O9 J; w, v
  6.       gende       enum('m','f')    not    null% n/ e1 V& o9 n) E
  7.         key(last_name,first_name,dob)
复制代码
匹配全名7 Z- `) h$ C( }& h! x$ m
全键值匹配指和索引中的所有列匹配。例如,索引可以帮你找到一个叫CubaAllen并且出生于1960-01-01。7 R! O! Z  N: x; @2 k
的人。
0 j8 Y# Y9 k+ k1 p! T/ o7 b, u匹配最左前缀
' c$ k" X, m* ~B-Tree索引可以帮你找到姓为Allen的所有人。这仅仅适用了索引中的第一列。
  e( ~5 Y1 ^$ d8 H9 [匹配列前缀
9 R$ P% y# d( t" V可以匹配某列的值的开头部分。这种索引能帮你找到所有姓氏以J开头的人。这只会使用索引的第1列。
- P) a6 Q% w+ n8 v& E5 Z匹配范围值
, {4 J8 c7 x. J4 N* C; u这种索引能帮你找到姓大干Allen并且小干Barrymore的人。这也只会使用索引第一列.3 C4 |" E3 c5 w- M  X% S* g6 z
精确匹配一部分并且匹配某个范围中的另一部分- }- t; k" U0 N9 ^7 w
这种索引能帮你找到姓为Allen并且名字以字母K(Kim、Karl等)开头的人。它精确匹配了last, @$ H% l1 F! h
列并且对first name列进行了范囤查询。9 i9 i' Q7 ^' a5 [1 s* y: [
name
. T9 X/ J) c4 k" g2 m# T( x只访问索引的查询2 K4 K6 y- a  G8 C% I- q
B-Tree索引通常能支持只访问索引的查询,它不会访问数据行。1 ^4 M8 q. O+ H! A3 ^, V+ ]
& C. ]; Q. a- b7 y
由于树的节点是排好序的,它们可以用于查找(查找值)和ORDER BY查询(以排序的方式查找值)。通常来说,8 w# W$ T: Z! D8 K, f% k3 a
如果B-Tree能以某种特殊的方式找到某行,那么它也能以同样的方式对行进行排序。因此,上面讨论的所有查
$ E" q) m) C; j- N1 v找方式也可以同等地应用于ORDER BY。( ]9 V; L+ l6 O6 ?0 _6 H8 z1 h: a6 c$ @

5 q7 F: s) I: J( c6 y% {下面是B-Tree索引的一些局限:$ d+ O* ]' R' d$ l2 Z6 L
- z) }  ~8 u/ Y1 E
1,如果查找没有从索引列的最左边开始,它就没什么用处。例如,这种索引不能帮你找到所有叫Bill的人,
, `" J  c9 i2 A6 r5 V# o* [  x也不能找到所有出生在某天的人,因为这些列不在索引的最左边。同样,你不能使用该索引查找某个姓: m$ q7 E4 ]: w3 q4 `$ o
氏以特定字符结尾的人。
$ ~$ |: T; G" B! I1 s8 }6 k: J3 ]9 ^! l6 G7 L1 i
2,不能跳过索引中的列。也就是说,不能找到所有姓氏为Smith并且出生在某个特定日期的人。如果不定0 B* j7 _: c# O; e) z3 R" ?
义first_name列的值,MySQL就只能使用索引的第一列。
* ~9 o" U3 L  S: T0 g7 C. k* v. y! ?% a5 ?
3,存储引擎不能优化访问任何在第一个范围条件右边的列.比如,如果查询是where last_name='Smith' AND first_name LIKE 'J%' and dob ='1967-12-23',访问就只能使用索引的头两列,因为LIKE是
& Q' ]  Y5 \" a2 z% L' l范围条件(但是服务器能把其余列用于其他目的)。对于某个只有有限值的列,通常使用等干条件,而
* G* x; b4 O" T3 s不是范围条件来绕过这个问题。本章稍后的索引案例中我们会举出详细的例子。4 l4 c( _6 I$ H  l/ f$ t
8 R3 ~3 J) X& u) Q
哈希索引,空间索引和全文索引等,暂时没有设计; U: |: A( d' X6 z. Q6 Q" S

3 k7 a$ x3 Q. h8 m高性能索引策略6 j" t8 J5 U9 W9 |

: g( A5 h, d8 ~5 ^) F. E1,隔离列,意思就是不要对查询条件中列进行计算等操作
, i* l1 v, v! P4 Y3 S2 R/ E2,前缀索引,针对blob和text,较长的varchar类型,使用前缀索引% _8 @- D$ u! Z: v9 {. w
Select count(distinct 列) /count(*) from table;3 s  {! m' U( v9 v: A# L
看看这个值时多少,如0.0312
1 j/ W0 b9 X& [9 _7 _( m: U那么就是说,如果前缀的选择率能够接近0.0312,基本就可以了。可以在同一个查询中对不同长长度进行计算
  }6 o3 G# R( f" g! A1 [$ y0 {8 P,这对于大表很有用。
9 K  @0 m- m5 xSelect  count(distinct left(列,3)) /count(*)  as  sel1,
7 O  U" S! K6 L+ F$ \( E count(distinct left(列,4)) /count(*)  as  sel1  ,
8 e5 h9 V, q1 J% i; S# B count(distinct left(列,5)) /count(*)  as  sel1,
. Z  K. Z  M. j$ V6 Z7 R count(distinct left(列,6)) /count(*)  as  sel1,
. J+ N2 @6 ^! d. X! F+ q! R count(distinct left(列,7)) /count(*)  as  sel1   from table;/ v0 G# x5 Z1 l( K0 r8 S0 E
找到接近0.0312即可。
' M' w& V) h% o$ ]8 E! m4 H; G
' [1 ?" z0 P- W$ M* b4 P& S: MAlter table table_name add key (列(7)); b3 |# b) E& W. @
3,覆盖索引1 _/ N: }% U: D! X4 e
包含或者覆盖所有满足查询的数据索引叫做覆盖索引
& Q) m4 x  S4 t; f/ I) [; s1 ~2 }1 ]explain时,extra中的会显示using index/ o$ x- Q9 u. Z- f3 F8 K4 ^6 a
这里一个重要的原则是* k: R9 [  |" T9 x" u, K% }7 P
select后面的列不能使用*,要使用单独的需要查找的列,使用带索引的列
" q  ~4 p- p& U& B; J: F* c4 |如select id from table_name;, ~3 D3 L- g9 [7 T2 L0 s
* C/ Z% \  w5 @
很容易把Extra列的“使用索引(Using Index)”和type列的“索引(index)”弄混淆。然而,它们完全不& w* Y% w: ~. t& {5 K4 Z4 @
一样。type列和覆盖索引没有任何关系,它显示了查询的访问类型,或者说是查询查找数据行的类型。
2 v! j9 t5 W  A+ ~8 j+ e# w. F( I
  1. Explain Select * from table_name where col ='nam' and col1 like '%name%';$ x: {& I% v% D  c' ~" m0 p  ]! s
  2. Extra:using where
复制代码
该索引不能覆盖查询的原因:1 |; f! c8 {- V" A
1,, k0 G: t2 R* u! ?* a0 ~
没有索引覆盖查询,因为从表中选择了所有的列,并且没有索引覆盖所有列。MySQL理论上有一个捷径可以使用,但是,WHERE子句只提到了索引覆盖的列,因此MysQL可以使用索引找到col并检查col1是否匹配,这只能通过读取整行进行。
  F2 a  L# V1 B( C$ U2,
4 `. w! W( n- X  QMySQL不能在索弓l中执行LIKE操作。这是低层次存储引擎API的限制,它只允许在索引进行简单比较。MysQL能在索引中执行前缀匹配的LIKE模式是因为能把它们转化为简单比较,但是查询中前导的通配符是存储引擎无法转化匹配的。因此,MySQL服务器自己将不得不提取和匹配行的数据,而不是索引值。
! c- q7 e/ W. ^3 \- z有办法可以解决这个问题,那就是合并索引及重写查询。可以把索引进行延伸,让它覆盖(artist,title,prod_id)并且按照下面的方式重写查询:
" o" N6 A% I- {! b% @  L
: d0 i% W% `) Z: i& C. J, N( r4,为排序使用索引扫描0 N( B/ H9 v' g5 }% R, }0 S
mysql有两种产生排序结果的方式:使用文件排序(fileSort),或者扫描有序索引。# A0 B: x6 B/ D6 y2 z
explain输出type为index,表示mysql会扫描索引' g4 f1 U8 v, q, y/ P/ y) T
3 f9 T" `+ `6 f
扫描索引本身是很快的,因为它只需要从一条索引记录移到另外一条记录。然而,如果MySQL没有使用索引覆盖查询,就不得不查找在索引中发现的每一行。这基本是随机I/O的,因此以索引顺序读取数据通常比顺序扫描表慢得多,尤其对于I/O密集的工作负载.& Y. T* `4 i& H7 W6 j1 O

; u3 A. v$ ~7 B) mMySQL能为排序和查找行使用同样的索引。如果可能,按照这样一举两得的方式设计索引是个好主意。
( L+ D: ]7 ?; C! E$ N( b( d- P2 Z! U. U- l
按照索引对结果进行排序,只有当索引的顺序和ORDER BY子句中的顺序完全一致,并且所有列排序的方向(升序或降序)一样才可以。如果查询联接了多个表,只有在ORDER BY子句的所有列引用的是第一个表才可以。查找查询中的ORDER BY子句也有同样的局限:它要使用索引的最左前级。在其他所有情况下,MySQL使用文件排序。8 X5 B( H/ [4 N$ I. y

$ ]$ w- D7 Y/ N) z* {+ fORDER BY无须定义索引的最左前级的一种情况是前导列为常量(也就是说第一个索引不能是范围查询,如果是组合索引应该以此为常量)。如果WHERE子句和JOIN子句为这些列定义了常量,它们就能弥补索引的缺陷。
9 D6 O0 O& m0 r( \! L8 ]0 O; i, v$ E" q$ a& b
使用join可能情况会有不同2 Z/ T3 d1 E6 H5 l, o
/ o4 P7 O) j* w0 H
5,压缩索引(myisam)- X4 q. [" ^( ?: r; j
6,多余和重复索引(应该避免)
$ B- Z0 W6 F! N4 e' Q- ~7 c# T) ]+ p8 v" `  G  A
多余索引(Redundant Index)和重复索引有一些不同。如果列(A,B)) B6 a9 d# d: R/ o6 y1 q
上有索引,那么另外一个列(A)上的& {% O/ Q8 G: t9 G
索引就是多余的。这就是说,(A,B)上的索引能被当成(A)上的索引。(这种多余只适合于B一Tree索引。)
0 {5 o6 O5 K5 G9 A% p# Y7 U然而,(B,A)上的索引不会是多余的,(B)上的索引也不是,因为列B不是列(A,B)的最左前缀。还有,不同类型的索引(例如哈希或全文索引)对于B一Tree索引不是多余的,无论它们针对的是哪一列。
' `) g8 d8 A6 `( v0 B6 `
3 c- @, O& `. H7 _1 p' O要点:
( I" `2 k. ^8 s) c/ N在任何可能的地方,都要试着扩展索引(之前是一个列A上面有索引,现在两个列A,B上建立索引),而不是新增索引。通常维护一个多列索引要比维护多个单列索引容易。如果不知道查询的分布,就要尽可能地使索引变得更有选择性,因为高选择性的索引通常更有好处.
2 P3 @: b2 ^* t% t$ ^7 \, M! T$ D  Q4 L
即使InnoDB使用了索引,它也能锁定不需要的行,这个问题在它不能使用索引找到并锁定行的时候会更严重:如果没有索引,mysql不管是否需要行,都会进行全表扫描并锁定每一行
  Z6 g* h+ f4 u. U+ V( h, X" F' [# |; I1 T# g5 ?( t
$ n3 ]6 Y, F* [% o8 {
: m/ j8 n" S, v" G, ^" U
回复

使用道具 举报

24

主题

5

回帖

199

积分

公司现有员工

积分
199
 楼主| 发表于 2019-12-9 11:34:27 | 显示全部楼层
创建索引时,+ c4 m0 Q3 Q1 V! ?

: N" w  y  w0 x7 g* I拥有唯一值的列选择性最高,那些具有很多相同值的不适合创建索引
8 }% i4 T% f6 u4 F+ x
6 B& c1 V+ v# W# U  {* O1 k/ H& F, O' E' j( i- n  p
4 d! {; O5 w4 F
一个通用的规则:保持表上的所有选项。当你设计索引的时候,不要只想着已有查询需要的索* ~4 J3 Z% ~# G7 }9 h3 H+ n) {
7 F6 C9 J/ p5 ~9 G7 ~( Q1 G$ Y
引,也要想着优化查询。如果看到需要某个索引,但是一些查询会因它而受到损害,就要问问自己是否应该改变这些查询。应该一起优化查询和索引,以找到最佳的折中。没有必要闭门造车,以得到最好的索引。
  E# Y3 t, Z8 k& S$ p9 n5 ~" y1 {# a  B# e) d. F( M

: `0 @% @$ U* W, X" v* L- q1 t( A5 d# @# q  |
一个在多列上面的索引,为了是这个索引生效,必须满足最左原则。- [, }, g% a7 F  [* K8 ?. |

: `" q% [% Q0 i例如inex(a,b,c),这个时候如果只是用了a,c。没有使用b这个时候就不会使用索引。怎么处理' j7 r0 _; a. X- a4 ~- M7 b0 x

0 ]& q( a( S/ n这里如果b是一个可以枚举的类型那么可以使用in(…),将b全部列出。这样相当于b没有起到筛选的作用,但是却可以是索引发挥作用。这个方法也不能滥用,因为会出现n*n的结果,如果枚举数相乘过大,应该选择其他方式
6 ]9 o+ X, b: G$ N* ^+ k" b  ~0 n& ^' U& _' B
3 O& O# a) u4 N

/ j" [- B% q! a7 M避免多个范围条件,只能对其中一个使用索引
8 [) g" u/ m+ h8 i
7 {9 {3 p$ w. d6 P
  v' |- b4 V' b' c: d
1 F# g5 _/ ?$ ]5 q" E索引和表维护0 }$ i7 V4 h. v' \# `. O

: ^2 i7 `5 z9 _9 z* ~! g' L4 x4 ~表维护的主要目标:查找和修复损坏,维护精确的索引统计,并且减少碎片.
6 d: R( z: c9 F* ^
, j; s" X' \8 {5 Z# }8 scheck table table_name;
+ S! ]% J2 a3 trepair table table_name;# h3 O2 l/ W& X) ?6 F9 l
Show index from table_name;检查索引的基数性) ?8 q3 |9 L3 P- T8 s. a0 Q. \

1 G  C+ f* i4 j主要关注cardinality列,显示存储引擎估计的索引中唯一值的数量" J6 y; q. [! A, P8 V. ]

, E- \. {7 Z# x$ V& s; \
- i  e. S; C! `- h% l0 g1 ~' m5 Z/ C/ t8 |) W6 M
B-Tree索引能变成碎片,它降低了性能。碎片化的索引可能会以很差或非顺序的方式保存在磁盘上。% Z7 B6 o# f5 z5 N8 Q# l6 F

" Y+ l% s& O" O表数据也能变成碎片化。两种类型:4 U% B( a  t- \+ p5 I
0 |& E' m; w1 H7 j) {  [
1,行碎片
( u' F% l/ f' u3 h) ]' G9 q
1 x7 |. e( A& [+ ?当行披存储在多个地方的多个片段中时,就会是这种碎片。即使查询只从索引中找一行数据,行碎片也会降低性能。9 D. m4 q+ {2 ^; T; p) C

. A& b- ~/ g+ H( r4 N! P4 ]! f
( o9 G) ~, V2 p4 l. f; `
- Y- G/ s) k' o' R- U- e2,内部行碎片
' @$ Q5 k/ i$ t$ P; d$ K2 _+ ]4 G0 M% D9 L) i8 u3 T1 y
当逻辑上顺序的页面或行在磁盘上没有被顺序存储的时候,就会产生这种碎片。它影响了诸如全表扫描和- B2 v& K) O6 @0 D" P  \/ b

! [2 O0 q* j% D- D; p6 e& G聚集素引范围扫描这样的操作。这些操作通常从磁盘上的顺序数据布局得益。& [9 a" m4 {. m" p  H9 i# u6 d

  J8 z1 n9 P' O+ ]7 _$ W7 n0 z
: j9 N9 b" Y% E8 [( O9 V' X+ W
  X/ N9 X2 e; i$ \7 O; _0 w/ `2 m为了消除碎片,可以允许OPTIMIZE TABLE或转储并重新加载数据。
" I  O" S# L" f6 _0 X$ }
5 B/ ]3 C4 X& d' q1 ]7 T3 V1 k. I/ m, v  J

% r6 a' z( P: m6 |7 MALTER TABLE <table> ENGINE=<engine>) @+ e* U& ]  b9 o) u& J+ s
: [5 o" e" S' d6 n- r3 f
% b0 o& a6 N  G; \- P# M; K& P- p

, D0 I  W0 J$ ~' d加速ALTER TABLE
5 m1 ^$ D! n  T( g# I4 m& G0 L6 P- E

$ \0 \/ ]7 Q; F4 d3 K
& Y& @3 d+ H0 t$ NMySQL的ALTER TABLE的性能在遇到很大的表的时候会出问题。MySQL执行大部分更改操作都是新建一个需, W- h3 B7 n, m8 i8 l$ ^
) z! H7 `6 M: U  }) h
要的结构的空表,然后把所有老的数据插入到新表中,最后删除旧表.这会耗费很多时间,尤其是在内存紧张,4 d' @( ^0 e- G9 A

. [: @  o: t3 z( E1 j7 H而表很大并含有很多索引的时候.许多人都遇到过ALTER TABLE操作需要几小时或几天才能完成的情况。% }/ Z  s4 l" G. C& j% i' t

: `6 O- c8 j7 }# S传统:0 \. F; I- d& b( R- Z; _

4 t; w9 n) G- y/ eALTER TABLE table_name MODIFY COLUMN col TINYINT(3) NOT NULL DEFAULT 5;
8 p8 }6 s  f: H) O) ?理论上,MySQL能跳过构建一个新表的方式。列的默认值实际保存在表的.frm文件中,因此可以不接触表而更
) y" g6 P5 p# ?3 J" \/ w改它。MySQL没有使用这种优化,然而,任何MODIFY COLUMN都会导致表重建。
' K* l5 H) P$ ]8 L+ |+ S# ]- G+ ^4 ~+ v  w- E+ l! N9 {
变化:
2 N2 z7 Y& \1 W! z# V- ?+ y0 b& w1 U5 d, Y5 ~6 \- Z7 A! S
ALTER TABLE table_name ALTER COLUMN col SET DEFAULT 5;
5 c/ i) |: }* k2 s3 X' \这个命令更改了.frm文件并且没有改动表。它非常快。
+ L" g' s$ S" |9 {! }7 C还有一个CHANGE COLUMN
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|召隆企博汇 ( 粤ICP备14061395号 )

GMT+8, 2026-5-16 17:29 , Processed in 0.043423 second(s), 25 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表