<?xml version="1.0" encoding="UTF-8"?>
<rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>一个故事@MySQL DBA &#187; MyISAM</title>
	<atom:link href="http://www.orczhou.com/index.php/tag/myisam/feed/" rel="self" type="application/rss+xml" />
	<link>http://www.orczhou.com</link>
	<description>一个故事@MySQL DBA</description>
	<lastBuildDate>Tue, 20 Dec 2011 15:51:20 +0000</lastBuildDate>
	<language>en</language>
	<sy:updatePeriod>hourly</sy:updatePeriod>
	<sy:updateFrequency>1</sy:updateFrequency>
	<generator>http://wordpress.org/?v=3.0</generator>
		<item>
		<title>详解MyISAM Key Cache(后篇)</title>
		<link>http://www.orczhou.com/index.php/2010/02/myisam-key-buffer-3/</link>
		<comments>http://www.orczhou.com/index.php/2010/02/myisam-key-buffer-3/#comments</comments>
		<pubDate>Tue, 02 Feb 2010 13:56:43 +0000</pubDate>
		<dc:creator>orczhou</dc:creator>
				<category><![CDATA[MySQL]]></category>
		<category><![CDATA[MyISAM]]></category>
		<category><![CDATA[MyISAM Key Buffer]]></category>

		<guid isPermaLink="false">http://www.orczhou.com/?p=1283</guid>
		<description><![CDATA[<p>在前两篇（<a href="http://www.orczhou.com/index.php/2010/01/myisam-key-buffer-1/">前篇</a>、<a href="http://www.orczhou.com/index.php/2010/01/myisam-key-buffer-2/">中篇</a>）中，分别介绍了Key Cache的基本原理（LRU和Midpoint Insertion Strategy）。最后，将介绍一些相关的参数、状态参数和命令。</p>
<p>Key Cache的配置很灵活，可以针对全局配置，还可以针对某个单独数据表分配Key Cache的大小；如果一个数据表某部分的索引块被访问的非常频繁（较之其他索引块），那么可以配置Midpoint Insertion Strategy达到最大的利用率(<a href="http://www.orczhou.com/index.php/2010/01/myisam-key-buffer-2/">参考</a>)。[......]</p><p class='read-more'><a href='http://www.orczhou.com/index.php/2010/02/myisam-key-buffer-3/'>继续阅读</a></p>]]></description>
			<content:encoded><![CDATA[<p>在前两篇（<a href="http://www.orczhou.com/index.php/2010/01/myisam-key-buffer-1/">前篇</a>、<a href="http://www.orczhou.com/index.php/2010/01/myisam-key-buffer-2/">中篇</a>）中，分别介绍了Key Cache的基本原理（LRU和Midpoint Insertion Strategy）。最后，将介绍一些相关的参数、状态参数和命令。</p>
<p>Key Cache的配置很灵活，可以针对全局配置，还可以针对某个单独数据表分配Key Cache的大小；如果一个数据表某部分的索引块被访问的非常频繁（较之其他索引块），那么可以配置Midpoint Insertion Strategy达到最大的利用率(<a href="http://www.orczhou.com/index.php/2010/01/myisam-key-buffer-2/">参考</a>)。<span id="more-1283"></span></p>
<p><font color="red">1. 如何配置Key Cache的大小</font></p>
<div class="mycode">
#配置文件my.cnf<br />
key_buffer_size=50*1024*1024
</div>
<p>另外，Key Cache的大小可以动态的改变</p>
<p><font color="red">2. 给数据表划分单独的Key Cache</font></p>
<p>例如：划分一块128K的Key buffer空间，指定数据表t1的Key cache放在里面。最后演示了如何删除这个特定的Key buffer空间。</p>
<div class="mycode">
SET GLOBAL hot_cache.key_buffer_size=128*1024;<br />
CACHE INDEX t1 IN hot_cache;<br />
SET GLOBAL  hot_cache.key_buffer_size=0;
</div>
<p><font color="red">3. 预先载入某些数据表的索引</font></p>
<div class="mycode">
LOAD INDEX INTO CACHE t1, t2
</div>
<p><font color="red">4. 关于Key Cache的使用情况观察 Flush现象</font></p>
<pre>
<div class="mycode">
mysql> show status like "key%";
+------------------------+----------+
| Variable_name          | Value    |
+------------------------+----------+
| Key_blocks_not_flushed | 14468    |
| Key_blocks_unused      | 0        |
| Key_blocks_used        | 14497    |
| Key_read_requests      | 30586575 |
| Key_reads              | 157      |
| Key_write_requests     | 7100408  |
| Key_writes             | 1199800  |
+------------------------+----------+
mysql> flush tables;             （<strong><font color="red">注意，请不要在业务高峰期执行</font></strong>）
+------------------------+----------+
| Variable_name          | Value    |
+------------------------+----------+
| Key_blocks_not_flushed | 0        |   #所有修改的block都已经被flush了
| Key_blocks_unused      | 0        |
| Key_blocks_used        | 14497    |
| Key_read_requests      | 38333936 |
| Key_reads              | 207      |
| Key_write_requests     | 8819898  |
| Key_writes             | 1255245  |
+------------------------+----------+
</div>
</pre>
<p><font color="red">5. 需要注意的事项</font></p>
<p>内存中缓存的索引块（Key Cache），<strong>有时候并不会及时刷新</strong>到磁盘上，所以对于正在运行的数据表的索引文件（MYI）一般都是不完整的。如果此时拷贝或者移动这些索引文件。多半会出现索引文件损坏的情况。</p>
<p>可以通过Flush table命令来将Key Cache中的block都flush到磁盘上。所以，一般要动态移动MyISAM表需要执行以下步骤：</p>
<p>首先，刷新数据表，并锁住数据表：（<strong><font color="red">注意，请不要在业务高峰期执行</font></strong>）</p>
<div class="mycode">
FLUSH TABLES WITH READ LOCK;
</div>
</pre>
<p>可以通过下面的命令来查看没有被Flush的索引块数量</p>
<pre>
<div class="mycode">
mysql> show status like "Key_blocks_not_flushed";
+------------------------+----------+
| Variable_name          | Value    |
+------------------------+----------+
| Key_blocks_not_flushed | 0        |
+------------------------+----------+
</div>
</pre>
<p>最后，移动对应的文件（MYI MYD FRM）。</p>
<p>参考</p>
<ol>
<li><a href="http://dev.mysql.com/doc/refman/5.0/en/myisam-key-cache.html">MySQL Manual about Key cache</a></li>
</ol>
<p><br/></p>
<p><strong>Update 2010-03-01:</strong></p>
<p>在<a href="http://www.mysqlperformanceblog.com/2010/02/28/why-you-should-ignore-mysqls-key-cache-hit-ratio/">Why you should ignore MySQL’s key cache hit ratio</a>中，Baron Schwartz提到很多关于Key Cache命中率的问题：一般情况，诸如“命中率”这样参数本身的意义并不明显，历史数据对比才比较靠谱（文中提到的“Key_reads/Uptime”）；关于Key_buffer_size大小，Baron Schwartz认为并没有统一的标准，而是应该具体情况具体分析，大小尽量大于你最常被访问的Key block（ "In my opinion, you should choose a key_buffer_size that is large enough to hold your working set -- the index blocks that are frequently used."）。</p>
]]></content:encoded>
			<wfw:commentRss>http://www.orczhou.com/index.php/2010/02/myisam-key-buffer-3/feed/</wfw:commentRss>
		<slash:comments>2</slash:comments>
		</item>
		<item>
		<title>详解MyISAM Key Cache(中篇)</title>
		<link>http://www.orczhou.com/index.php/2010/01/myisam-key-buffer-2/</link>
		<comments>http://www.orczhou.com/index.php/2010/01/myisam-key-buffer-2/#comments</comments>
		<pubDate>Sun, 17 Jan 2010 10:14:46 +0000</pubDate>
		<dc:creator>orczhou</dc:creator>
				<category><![CDATA[MySQL]]></category>
		<category><![CDATA[MyISAM]]></category>
		<category><![CDATA[MyISAM Key Buffer]]></category>

		<guid isPermaLink="false">http://www.orczhou.com/?p=1263</guid>
		<description><![CDATA[<p>在<a href="http://www.orczhou.com/index.php/2010/01/myisam-key-buffer-1/">前篇</a>中介绍了Key Cache的基本机制，并且介绍了Key Cache的LRU算法。作为对LRU算法的改进，MyISAM还提供了另一个缓存算法：“Midpoint Insertion Strategy”。本文将重点介绍该算法的原理和配置。</p>
<p><font color="red">1. 相关参数</font> </p>
<p>该策略涉及的参数有：<a href="http://dev.mysql.com/doc/refman/5.0/en/server-system-variables.html#sysvar_key_cache_division_limit">key_cache_division_limit</a>、<a href="http://dev.mysql.com/doc/refman/5.0/en/server-system-variables.html#sysvar_key_cache_age_threshold">key_cache_age_threshold</a></p>
<p><font color="red">2. 原理介绍</font> </p>
<p>(1)	该策略将前面的LRU队列（LRU Chain）分成两部分，hot sub-chain和warm sub-chain。并根据参数key_cache_division_limit划分，总保持warm sub-chain在这个百分比以上。默认情况key_cache_division_limit是100，所以默认时候只有warm sub-chain,即LRU Chain。<br />
(注：Multiple Key cache情况，每个key cache都有对应的key_cache_division_limit值)[......]</p><p class='read-more'><a href='http://www.orczhou.com/index.php/2010/01/myisam-key-buffer-2/'>继续阅读</a></p>]]></description>
			<content:encoded><![CDATA[<p>在<a href="http://www.orczhou.com/index.php/2010/01/myisam-key-buffer-1/">前篇</a>中介绍了Key Cache的基本机制，并且介绍了Key Cache的LRU算法。作为对LRU算法的改进，MyISAM还提供了另一个缓存算法：“Midpoint Insertion Strategy”。本文将重点介绍该算法的原理和配置。</p>
<p><font color="red">1. 相关参数</font> </p>
<p>该策略涉及的参数有：<a href="http://dev.mysql.com/doc/refman/5.0/en/server-system-variables.html#sysvar_key_cache_division_limit">key_cache_division_limit</a>、<a href="http://dev.mysql.com/doc/refman/5.0/en/server-system-variables.html#sysvar_key_cache_age_threshold">key_cache_age_threshold</a></p>
<p><font color="red">2. 原理介绍</font> </p>
<p>(1)	该策略将前面的LRU队列（LRU Chain）分成两部分，hot sub-chain和warm sub-chain。并根据参数key_cache_division_limit划分，总保持warm sub-chain在这个百分比以上。默认情况key_cache_division_limit是100，所以默认时候只有warm sub-chain,即LRU Chain。<br />
(注：Multiple Key cache情况，每个key cache都有对应的key_cache_division_limit值)<span id="more-1263"></span></p>
<p>(2)	在warm sub-chain中的某个block如果被访问（Access）次数超过某个值时候，就将该block放到hot sub-chain的底部。</p>
<p>(3)	在hot sub-chain中的block会随着每一次的hit调整位置，hit越多，越接近底部。在顶部停留时间过长就会被降级到warm sub-chain中，而且是warm sub-chain的顶部（很可能很快就会被移出key cache）。</p>
<p>(4)	Hot sub-chain中的顶部的block停留时间超过一个阈值后就会被降级到warm sub-chain。这个阈值由参数key_cache_age_threshold决定。具体的计算方法是：设N为key cache中的block个数，如果在最近的（N*key_cache_age_threshold/100）次访问中，key cache顶部的block仍然没有被访问到，那么就会被移到warm sub-chain的顶部。</p>
<p>(5)	默认情况key_cache_division_limit = 100，这时只有只有一个Chain，所以不使用该策略。即退化的Midpoint Insertion Strategy是LRU算法。</p>
<p><font color="red">3. 如何使用Midpoint Insertion Strategy</font></p>
<p>我们可以通过配置<a href="http://dev.mysql.com/doc/refman/5.0/en/server-system-variables.html#sysvar_key_cache_division_limit">key_cache_division_limit</a>、<a href="http://dev.mysql.com/doc/refman/5.0/en/server-system-variables.html#sysvar_key_cache_age_threshold">key_cache_age_threshold</a>的值来控制。参数<a href="http://dev.mysql.com/doc/refman/5.0/en/server-system-variables.html#sysvar_key_cache_division_limit">key_cache_division_limit</a>控制了Key Cache Chain中warm sub-chain的百分比，如果你的Index Block中明显有30%是非常Hot（较之其他的Block更加被常常访问），那么你可以设置你的warm sub-chain长度为70%，剩余30%作为hot sub-chain。参数<a href="http://dev.mysql.com/doc/refman/5.0/en/server-system-variables.html#sysvar_key_cache_age_threshold">key_cache_age_threshold</a>定义了warm sub-chain中的block被移除的机制（参照前文介绍）。</p>
<p>（未完待续）</p>
]]></content:encoded>
			<wfw:commentRss>http://www.orczhou.com/index.php/2010/01/myisam-key-buffer-2/feed/</wfw:commentRss>
		<slash:comments>1</slash:comments>
		</item>
		<item>
		<title>详解MyISAM Key Cache(前篇)</title>
		<link>http://www.orczhou.com/index.php/2010/01/myisam-key-buffer-1/</link>
		<comments>http://www.orczhou.com/index.php/2010/01/myisam-key-buffer-1/#comments</comments>
		<pubDate>Thu, 14 Jan 2010 02:12:40 +0000</pubDate>
		<dc:creator>orczhou</dc:creator>
				<category><![CDATA[MySQL]]></category>
		<category><![CDATA[MyISAM]]></category>
		<category><![CDATA[MyISAM Key Buffer]]></category>
		<category><![CDATA[图解]]></category>

		<guid isPermaLink="false">http://www.orczhou.com/?p=1252</guid>
		<description><![CDATA[<p>本文将分为前、中、后三篇，分别介绍MyISAM Key Cache的一般机制、Mid-point strategy、状态、参数和命令。</p>
<p>“Cache为王”，<a href="http://www.orczhou.com/index.php/2009/08/query-cache-1/">无所不在</a>。为了最小化磁盘I/O，MyISAM将最频繁访问的索引块（“index block”）都放在内存中，这样的内存缓冲区我们称之为Key Cache，它的大小可以通过参数key_buffer_size来控制。在MyISAM的索引文件中（MYI），连续的单元（contiguous unit）组成一个Block，Index block的大小等于该BTree索引节点的大小。Key Cache就是以Block为单位的。[......]</p><p class='read-more'><a href='http://www.orczhou.com/index.php/2010/01/myisam-key-buffer-1/'>继续阅读</a></p>]]></description>
			<content:encoded><![CDATA[<p>本文将分为前、中、后三篇，分别介绍MyISAM Key Cache的一般机制、Mid-point strategy、状态、参数和命令。</p>
<p>“Cache为王”，<a href="http://www.orczhou.com/index.php/2009/08/query-cache-1/">无所不在</a>。为了最小化磁盘I/O，MyISAM将最频繁访问的索引块（“index block”）都放在内存中，这样的内存缓冲区我们称之为Key Cache，它的大小可以通过参数key_buffer_size来控制。在MyISAM的索引文件中（MYI），连续的单元（contiguous unit）组成一个Block，Index block的大小等于该BTree索引节点的大小。Key Cache就是以Block为单位的。<span id="more-1252"></span></p>
<p><font color="red">1. MyISAM如何使用Key Cache</font></p>
<p>当MySQL请求(读或写)MyISAM索引文件中某个Index Block时，首先会看Key Cache队列中是否已经缓存了对应block。如果有，就直接在Key Cache队列中进行读写了，不再需要请求磁盘。如果是写请求，那么Key Cache中的对应Block就会被标记为Dirty（和磁盘不一致）。在MyISAM在Key Cache成功请求（读写）某个Block后，会将该Block放到Key Cache队列的头部。</p>
<p>如果Key Cache中没有待请求（读或写）的Block，MyISAM会向磁盘请求对应的Block，并将其放到Key Cache的队列头部。队列如果满了，会将队列尾部的Block删除，该Block如果是Dirty的，会将其Flush到磁盘上。我们看到MyISAM维护了一个LRU（Least Recently Used）的Key Cache队列。队列中的Dirty Block会在Block被踢出队列时Flush到磁盘上。</p>
<p><font color="red">2. 图解</font></p>
<p>下图展示了访问Index Block的过程：（黑色部分为磁盘中的Index文件）</p>
<p><a href="http://www.flickr.com/photos/26825745@N06/4268165359/" title="Key_Cache by orczhou, on Flickr"><img src="http://farm3.static.flickr.com/2776/4268165359_9f4e322c1f_o.png" width="550" height="598" alt="Key_Cache" /></a></p>
<p><font color="red">3. 并发访问</font></p>
<p>Key Cache中的index Block是可以被并发访问的（Shared access ），下面是一些规则：</p>
<ol>
<li>多个没有更新操作的session可以并发同一个block buffer</li>
<li>多个session同时访问某一个block buffer，如果某个session是update操作，则优先访问</li>
<li>多个session如果都需要进行block replacement，是可以并发操作。（从index file中读取block更新到key cache，但是key cache已满，需要删除一些block buffer的操作叫做block replacement）</li>
</ol>
<p>&nbsp;</p>
<p><font color="red">4. 补充说明</font></p>
<p>Key cache中的Block大小可能和索引文件中的Index Block大小不同，可能是大于、小于、等于中的任何一种，但是一般都是成倍数关系的。Key Cache的block大小由参数<a href="http://dev.mysql.com/doc/refman/5.0/en/server-system-variables.html#sysvar_key_cache_block_size">Key_cache_block_size</a>控制。</p>
<p>（未完待续）</p>
]]></content:encoded>
			<wfw:commentRss>http://www.orczhou.com/index.php/2010/01/myisam-key-buffer-1/feed/</wfw:commentRss>
		<slash:comments>4</slash:comments>
		</item>
	</channel>
</rss>

