"不积跬步，无以至千里"
                                 《劝学》

查看文本文件使用vim/less就足够了，但如果想要查看一些其他二进制文件（例如DB的数据文件、程序的二进制代码）则借助于od/hexdump这些工具会很方便，这里会通过一些实例来详细介绍od命令的相关参数。

$od -j 49152 -N 38 -w4 -A d -t x1 -v tmp_test.ibd
0049152 fd 6f fb 70
0049156 00 00 00 03
0049160 ff ff ff ff
0049164 ff ff ff ff
0049168 00 00 00 03
0049172 ba 92 ac 0c
0049176 45 bf 00 00
0049180 00 00 00 00
0049184 00 00 00 00

-j 49152 跳过前49152个字节（bytes）

-N 38 仅显示38个字节

-w4 每一行显示4个字节

-A d 表示最左侧的偏移量按十进制显示；-A还可以接[doxn]，其中d表示十进制，o表示8进制，x表示16进制，n表示不显示该偏移量，如：

od -j 49152 -N 8 -w4 -A n -t x1 -v ibdata1
 b4 0b c7 31
 00 00 00 03

-t x1表示如何显示文件内容。这里，x表示按照16进制输出文件内容，x后面跟的“1”表示一次显示一个字节。下面是一个-t x2的输出：

od -j 49152 -N 8 -w4 -A n -t x2 -v ibdata1
 0bb4 31c7    # 0bb4是十进制表示的两个字节
 0000 0300    #

另外，注意到这里是0bb4和前面的b40b略有不同，这是因为我这里的测试平台是little-endian的（x86_64 Linux）。

最后，参数-v表示，即使连续多行都是完全相同的字符0，仍然原样输出；不加该参数，则会使用星号（*）跳过多个相同的行。

好了，再回头看看最前面的命令，已经没那么难理解了吧。

参考文献：man od

一般，我们创建一个screen会话，然后连接会话并在会话下工作，这时候，我们可以随时挂起会话，去做别的事情，而且这个挂起的会话会一直在后台执行。而后又可以重新连接会话。下面是一个简单的How-to：

该命令，创建一个名为supu的会话，当时并不立刻进入会话。

连入会话后，就可以做任何想做的工作了。

如果你在会话中，做了某个需要等很久的操作，或者你需要离开一段时间，这时就需要执行挂起操作了：

(ctrl+a) + D 先按下Ctr+a然后按D键（screen捕获ctrl+a，后面跟一个命令键D，可以通过ctrl+a ?查看更多）

而后，可以重新使用-r参数回到会话；在会话中，用exit可以退出并关闭这个会话；还可以使用screen -ls命令来查看当前的全部会话状态。

一般screen -ls可以看到多个会话状态，例如：

[admin@my174 ~]$ screen -ls
There are screens on:
        22872.supu      (Detached)
        18283.pts-3.my174       (Attached)
2 Sockets in /var/run/screen/S-admin.

Detached表示会话处于挂起状态，Attached表示有终端在连接会话。

“22872.supu”这是会话名。22872是一个唯一会话ID，后面supu是自定义的会话名，可以使用screen -r 22872等同于screen -r supu。

Enjoy！

参考：linux 技巧：使用 screen 管理你的远程会话 | man screen

进入该状态的进程，会一直等待NFS，不接受任何信号，当然也就无法被杀死（kill/fuser -k）。因为进程一直在运行队列（running queue）中，所以还会导致主机的Load上升（虽然主机并不繁忙）。如果由于这个原因被卡住的进程很多的话，主机的Load可能会看起来非常高。

上次出现这个问题时只有一台主机出了这个症状，当时Google后也注意到很多人有遇到了类似的问题，并且都束手无策(There are some things even root can’t do)。Google后，再尝试找了一些Linux原理方面的介绍，依然无解。

解决的终极办法是重启主机（reboot），所以决定等待一段时间（之前遇到过一些僵死进程Z，等待一段时间后也消失了），实在不行就择机重启主机。不过奇怪的是，等了几天过后，这个进程确实消失了（正常结束了？应该是）。

1. Why is Linux so “stupid”?

有人就问，Linux设计是不是有问题，为什么会有一些进程root也无法杀死呢？

jra在How to kill a process in uninterruptible sleep state中给了一个解释：

    There's fairly extensive discussion of this in a couple of the kernel
design books, and I think in Nemeth, Snyder and Seebass: the problem stems
from the fact that there are two types of device drivers -- those
for "fast" devices and those for "slow" devices：

    Slow-device drivers -- for things like terminals, and such -- are
                usually split in two pieces, and can therefore be
                interrupted while they're in the middle of something.

    Fast-device drivers -- which service things like hard drives and (I
                think) ethernet cards -- are designed to expect that
                when they call out to hardware, it will respond  instantly
                (in human terms), and that they won't have to wait
                on anything. Such drivers have, as a rule, proven
                extremely intolerant of hardware trouble -- if your hard
                drive start having to do hardware retries to read a
                sector, your system perfromance is going int he toilet,
                even if you have more than one drive...

大概意思是说，Linux中设备驱动程序可以分为“slow device”和“fast device”两类。磁盘属于“fast device”（如果当作“slow device”处理效率会很低），在这类设备上操作时会以uninterruptible的方式进行。

2. 真的没办法吗?

理论上，除了重启主机，貌似没什么办法了。不过，根据实际经验和运气，也还是有一些办法可以尝试的。

办法1：umount -f

如果是由于NFS故障导致的，可以尝试使用先umount/mount重新挂载NFS。如果NFS无法卸载（如果遇到上述情况，八成是这样），可以尝试使用 -f 参数卸载。最近一次遇到这个故障，有接近上百台主机出现这个故障，就是使用umount -f成功卸载NFS后，相关uninterruptible的进程也都随之正常结束。当时发现，连续重试多次 umount -f 才行：

办法2：等

最早mysqldump遇到这个问题时，束手无策后，就等了几天，发现进程确实结束了。所以如果情况不是很紧急，“等”也是一个办法。

遇到的僵死进程这个办法也可能有效。

办法3：killall -KILL rpciod

在一篇文章中，还提到，进程处于uninterruptible sleep(即ps的D状态)，进程处于rpc_execute调用状态，而rpc_execute调用是由rpciod提供，所以可以通过杀死rpciod来解决问题。（rpciod被杀死后会自动重启过来）【没有实验过，慎用，希望有经验者分享一下】

办法4：reboot

实在不行，就只能reboot了。这是最不推荐的做法，毕竟每次遇到都reboot，代价还是比较大，特别是当你在追求HA的时候。

3. 能够避免这种情况吗?

在RTFM之后，发现可以通过挂载NFS时指定一些参数，尽可能的避免这个问题：

     soft       If an NFS file operation has a major timeout then report
                 an I/O error to the calling program.  The default is  to
                 continue retrying NFS file operations indefinitely.

      hard       If an NFS file operation has a major timeout then report
                 "server not responding"  on  the  console  and  continue
                 retrying indefinitely.  This is the default.

      intr       If  an  NFS file operation has a major timeout and it is
                 hard mounted, then allow signals to  interupt  the  file
                 operation  and  cause  it to return EINTR to the calling
                 program.  The default is to not allow file operations to
                 be interrupted.

上面3个参数，其中hard是默认的。我们通过断开网络模拟NFS故障，测试了 intr 选项，发现能够一定程度上避免上述的情况。在测试 soft 选项时，并没有上面描述的那么好用，在实验中，使用 soft 挂载是现象和 hard 类似（不知道我是不是忽略哪些细节了）。

如果你被这个问题困扰，可以试试使用intr参数挂载NFS：

参考文献
[1]. Linux Man
[2]. How to kill a process in uninterruptible sleep state
[3]. Linux: Killing Tasks On Frozen NFS Mounts
[4]. How to kill a process in uninterruptible sleep state
[5]. 如何杀掉由NFS造成Uninterruptible的进程

        "工欲善其事,必先利其器"
                                   《论语》

写在前头：vim是Linux下最常用的编辑工具，一般认为vim是Vi IMproved（增强的vi）的缩写，很多时候我们也把vim称为vi。vi是一个上手比较难，但是一旦掌握，就能大大提高效率的工具。本文仅介绍一些Vim使用的基本概念，读者可以根据本文给出参考文献继续深入了解Vim。

1. 认识Vi

直接使用vi（或者vim）命令，有时会看到如下的内容

                 Vim is open source and freely distributable

~                       Help poor children in Uganda!
~              type  :help iccf<Enter>       for information

建议用户向荷兰ICCF捐款, 用于帮助乌干达的艾滋病患者，可以通过键入命令:help iccf查看更多细节。

你可以使用如下命令开始编辑一个文本：

vi doat.txt

2. Vim中的模式

Vi和Windows下的编辑器最大的一个不同是Vi有多种模式：Normal模式，编辑模式，命令模式。使用命令(如 vi dota.txt)后，首先进入Normal模式（这个模式下，可以移动光标的位置）；如果准备开始编辑了，按下a（或者i）就可以进入编辑模式，这时，和普通的编辑器就差不多了；完成编辑希望保存并退出文本时，你可以先按Esc进入Normal模式，然后按:wq保存并退出。（还是有点点复杂的:）事实上还有Ex Select Visual等模式）

3. Vim中的一些功能

这里将罗列一些Vi的功能，本文将不详述，因为只要你知道她有这些功能，Google大神会告诉你具体操作。

语法高亮：当你编写shell代码时，高亮可以帮你发现一些明显的语法错误；录制、播放：当你在成百次的重复一些复杂的vi操作时，录制会帮你大忙；列编辑：据我知道，很多人之所以使用破解版的UE，就是因为这个；搜索、替换：这也是编辑器基本的功能。编程函数自动补齐：还在等什么，Have a try（欢迎补充）

4. ctrl+s冻结Vim的问题

刚开始使用vim的人，会习惯性地使用ctrl+s保存，这将会导致Linux终端被冻结。事实上，ctrl+s会锁住Linux终端的输入和输出。可以使用crtl+q解除锁定，恢复正常。

参考手册：

sourceforge.net上的中文文档 | 滇狐大作viki | Vim the editor | 善用佳软 介绍vim

1. 基本使用

$iostat -d -k 1 10

参数 -d 表示，显示设备（磁盘）使用状态；-k某些使用block为单位的列强制使用Kilobytes为单位；1 10表示，数据显示每隔1秒刷新一次，共显示10次。

$iostat -d -k 1 10
Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
sda              39.29        21.14         1.44  441339807   29990031
sda1              0.00         0.00         0.00       1623        523
sda2              1.32         1.43         4.54   29834273   94827104
sda3              6.30         0.85        24.95   17816289  520725244
sda5              0.85         0.46         3.40    9543503   70970116
sda6              0.00         0.00         0.00        550        236
sda7              0.00         0.00         0.00        406          0
sda8              0.00         0.00         0.00        406          0
sda9              0.00         0.00         0.00        406          0
sda10            60.68        18.35        71.43  383002263 1490928140

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
sda             327.55      5159.18       102.04       5056        100
sda1              0.00         0.00         0.00          0          0

tps：该设备每秒的传输次数（Indicate the number of transfers per second that were issued to the device.）。“一次传输”意思是“一次I/O请求”。多个逻辑请求可能会被合并为“一次I/O请求”。“一次传输”请求的大小是未知的。

kB_read/s：每秒从设备（drive expressed）读取的数据量；kB_wrtn/s：每秒向设备（drive expressed）写入的数据量；kB_read：读取的总数据量；kB_wrtn：写入的总数量数据量；这些单位都为Kilobytes。

上面的例子中，我们可以看到磁盘sda以及它的各个分区的统计数据，当时统计的磁盘总TPS是39.29，下面是各个分区的TPS。（因为是瞬间值，所以总TPS并不严格等于各个分区TPS的总和）

2. -x 参数

使用-x参数我们可以获得更多统计信息。

iostat -d -x -k 1 10
Device:    rrqm/s wrqm/s   r/s   w/s  rsec/s  wsec/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
sda          1.56  28.31  7.80 31.49   42.51    2.92    21.26     1.46     1.16     0.03    0.79   2.62  10.28
Device:    rrqm/s wrqm/s   r/s   w/s  rsec/s  wsec/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
sda          2.00  20.00 381.00  7.00 12320.00  216.00  6160.00   108.00    32.31     1.75    4.50   2.17  84.20

rrqm/s：每秒这个设备相关的读取请求有多少被Merge了（当系统调用需要读取数据的时候，VFS将请求发到各个FS，如果FS发现不同的读取请求读取的是相同Block的数据，FS会将这个请求合并Merge）；wrqm/s：每秒这个设备相关的写入请求有多少被Merge了。

rsec/s：每秒读取的扇区数；wsec/：每秒写入的扇区数。r/s：The number of read requests that were issued to the device per second；w/s：The number of write requests that were issued to the device per second；

await：每一个IO请求的处理的平均时间（单位是微秒）。这里可以理解为IO的响应时间，一般地系统IO响应时间应该低于5ms，如果大于10ms就比较大了。

%util：在统计时间内所有处理IO时间，除以总共统计时间。例如，如果统计间隔1秒，该设备有0.8秒在处理IO，而0.2秒闲置，那么该设备的%util = 0.8/1 = 80%，所以该参数暗示了设备的繁忙程度。一般地，如果该参数是100%表示设备已经接近满负荷运行了（当然如果是多磁盘，即使%util是100%，因为磁盘的并发能力，所以磁盘使用未必就到了瓶颈）。

3. -c 参数

iostat还可以用来获取cpu部分状态值：

iostat -c 1 10
avg-cpu:  %user   %nice    %sys %iowait   %idle
           1.98    0.00    0.35   11.45   86.22
avg-cpu:  %user   %nice    %sys %iowait   %idle
           1.62    0.00    0.25   34.46   63.67

4. 常见用法

$iostat -d -k 1 10        #查看TPS和吞吐量信息
iostat -d -x -k 1 10      #查看设备使用率（%util）、响应时间（await）
iostat -c 1 10            #查看cpu状态

5. 实例分析

$$iostat -d -k 1 |grep sda10
Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
sda10            60.72        18.95        71.53  395637647 1493241908
sda10           299.02      4266.67       129.41       4352        132
sda10           483.84      4589.90      4117.17       4544       4076
sda10           218.00      3360.00       100.00       3360        100
sda10           546.00      8784.00       124.00       8784        124
sda10           827.00     13232.00       136.00      13232        136

上面看到，磁盘每秒传输次数平均约400；每秒磁盘读取约5MB，写入约1MB。

iostat -d -x -k 1
Device:    rrqm/s wrqm/s   r/s   w/s  rsec/s  wsec/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
sda          1.56  28.31  7.84 31.50   43.65    3.16    21.82     1.58     1.19     0.03    0.80   2.61  10.29
sda          1.98  24.75 419.80  6.93 13465.35  253.47  6732.67   126.73    32.15     2.00    4.70   2.00  85.25
sda          3.06  41.84 444.90 54.08 14204.08 2048.98  7102.04  1024.49    32.57     2.10    4.21   1.85  92.24

可以看到磁盘的平均响应时间<5ms，磁盘使用率>80。磁盘响应正常，但是已经很繁忙了。

参考文献：

1. Linux man iostat
2. How Linux iostat computes its results
3. Linux iostat

1. 硬件结构

一块磁盘由多个盘面组成，每个盘面有一个对应的磁头（heads），我们可以在该盘面上存储我们需要的信息。

每一个盘面，被分成多个圆环，我们称之为柱面（cylinders）。每一个柱面又被分割为多个扇形区域，简称扇区（sectors），参见下图：

（图片来源www.eygle.com/）

两个红色环形之间是一个柱面；图中黄色标记部分是一个扇区。

2. fdisk -l 查看磁盘情况

#fdisk -l
Disk /dev/sda: 73.2 GB, 73274490880 bytes
255 heads, 63 sectors/track, 8908 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *           1          16      128488+  83  Linux
/dev/sda2              17        1928    15358140   83  Linux
/dev/sda3            1929        2189     2096482+  82  Linux swap / Solaris
/dev/sda4            2190        8908    53970367+   5  Extended
/dev/sda5            2190        2450     2096451   82  Linux swap / Solaris
/dev/sda6            2451        2711     2096451   82  Linux swap / Solaris
/dev/sda7            2712        2972     2096451   82  Linux swap / Solaris
/dev/sda8            2973        8908    47680888+  83  Linux

可以看到，上面的磁盘/dev/sda有255个磁头，8908个柱面，每个柱面轨道上有63个扇区。因为每个扇区大小为512bytes，所以总大小约为：8908 * 63 * 512 * 255 = 73270794240(和上面的73274490880 相差3696640，不知道是什么地方多出来的)。

3. 磁盘分区、文件系统、挂载点

我们继续看上面的例子，磁盘/dev/sda共分为8个分区：/dev/sda1，/dev/sda2，……，/dev/sda8，Start和End分别为各个分区的起始和结束柱面。例如分区/dev/sda2从柱面17开始到柱面1928结束，则大小约为（1928-17）* 63 * 512 * 255 = 14.6G。

可以通过df -h来查看分区/dev/sda2的挂载目录：

#df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/sda2              15G   13G  1.1G  92% /
/dev/sda1             122M   20M   96M  17% /boot
tmpfs                 2.0G  669M  1.4G  33% /dev/shm
/dev/sda8              45G   26G   17G  62% /u01

可以看到，分区/dev/sda2挂载根目录 / 上。然后，通过文件/etc/fstab来查看该分区的文件系统：

#more /etc/fstab
LABEL=/                 /                       ext3    defaults        1 1
LABEL=/boot1            /boot                   ext3    defaults        1 2
devpts                  /dev/pts                devpts  gid=5,mode=620  0 0
tmpfs                   /dev/shm                tmpfs   defaults        0 0
proc                    /proc                   proc    defaults        0 0
sysfs                   /sys                    sysfs   defaults        0 0
LABEL=/u01              /u01                    ext3    defaults        1 2
LABEL=SWAP-sda5         swap                    swap    defaults        0 0
LABEL=SWAP-sda6         swap                    swap    defaults        0 0
LABEL=SWAP-sda7         swap                    swap    defaults        0 0
LABEL=SWAP-sda3         swap                    swap    defaults        0 0

看到根目录 / 使用了Linux ext3文件系统。

至此，我们看到磁盘/dev/sda共分为八个分区。其中第二个分区/dev/sda2从柱面17到柱面1928结束，大小约为15G，该分区挂载在根目录 / 上，使用了ext3的文件系统。

4. 其他磁盘分区

在上面的fdisk -l 列表中我们一共可以看到八个磁盘分区。上面已经分析了/dev/sda2，我们再看来看看其他的分区。

• 在Linux中第一个分区/dev/sda1，为引导扇区，挂载在/boot上
• 第二个分区挂载在根目录 / 上，大小15G，为ext3文件系统
• 第三个分区为交换分区，从柱面1929到2189，大小约：（2189 – 1929）* 63 * 512 * 255 = 2G。
• 第四个分区为扩展分区，后面四个分区均是该分区的一部分。该分区从柱面2190到8908结束。
• 分区五、六、七为扩展分区的子分区，均为交换分区，单个大小均为2G。所以全部的交换分区大小共2G + 2G*3 = 8G。
• 第八个分区为扩展分区的最后一个子分区，挂载在/u01上，大小约为 （8908 – 2973）* 63 * 512 * 255 = 45G。

以上为示例主机上的全部磁盘分区，以及挂载情况。

5. 小结

有了以上信息，我们就基本清楚了硬件结构以及对应的逻辑结构，需要使用的命令其实也很少：

6. 补充

# This file is edited by fstab-sync - see 'man fstab-sync' for details
LABEL=/1                /                       ext3    defaults        1 1
LABEL=/boot1            /boot                   ext3    defaults        1 2
......

关于/etc/fstab的简单补充：

• 第一列是：一般是设备（分区），如也有是LABEL=×××的，这是ext2 ext3特有的卷标，可以通过e2label来查看各个设备的卷标。
• 第二列是：挂载点
• 第三列是：文件系统
• 第四列是：文件系统挂载时候的参数（例如NFS有时候需要用户名密码等）
• 第五列是：标志是否需要备份1为需要，0为不需要
• 第六列是：启动时，是否需要fsck检查磁盘1为先检查，2为后检查，0为不检查

在fstab文件还有部分第一列是none的，这些都是不需要物理磁盘的文件系统。典型的如/proc文件系统：

none                    /dev/shm                tmpfs   defaults        0 0
none                    /proc                   proc    defaults        0 0
none                    /sys                    sysfs   defaults        0 0

1. 示例程序

$ vi mysql-c-api.c
#include <stdio.h>
#include "mysql/mysql.h"
int main(){
        MYSQL mysql;
        mysql_init(&mysql);
        mysql_options(&mysql,MYSQL_OPT_COMPRESS,0);
        mysql_options(&mysql,MYSQL_INIT_COMMAND,"SET autocommit=0");
        if (!mysql_real_connect(&mysql,"10.2.3.4","user","passwd","database",0,NULL,0))
        {
                fprintf(stderr, "Failed to connect to database: Error: %sn",
                mysql_error(&mysql));
        }
        return 0;
}

2. 编译命令

在MySQL编译后的二进制文件中，有一个很有用的二进制文件“mysql_config”（一般和mysql命令在同一个目录下），我们可以通过这个程序找到需要的头文件和连接库：

$ gcc -o a.out $(mysql_config --cflags) mysql-c-api.c $(mysql_config --libs)
$ ./a.out

1、变量定义等号两边不能有空格

#!/bin/bash
myvar=3 #正确
myvar = 3; #等号边多了空格，是错误的！很迥异吧

1.1、还是空格，这次是不能没有

#!/bin/sh
myVar="OFF"
if [   $myVar = 'OFF'    ];then
#这里[]中括起来的内容两端必须有空格，if [$myVar = 'OFF']是不能正常工作的。也很迥异吧
#注意 if 和 [ 之间也是有空格的！
        echo "works"
else
        echo "Not works"
fi

2、双引号和单引号

testvar=5
myvar=’Haha$test’ #shell不会解释$test
myvar2=”Haha$test” #shell会解释$test
echo $myvar $myvar2 #输出：Haha$test Haha5

双引号中的字符如果有变量，shell会尝试解释它，单引号中不会。所以，如果字符串中没有要解释的变量尽量使用单引号，据说速度会快些。

这个到不算很迥异，还有很多其他的语言也都有这样的约定。

3、奇怪的算术运算

shell中算术运算需要使用$((和))将算术运算括起来

$(( $myvar + 12 )) #这个非常迥异

4、case语句

case "${x##*.}" in
      gz)
            gzunpack ${SROOT}/${x}
            ;;
      bz2)
            bz2unpack ${SROOT}/${x}
            ;;
      *)
            echo "Archive format not recognized."
            exit
            ;;
esac           #这个比较迥异 "esac"、";;"、"bz2)"

5、函数中的变量作用范围

#!/usr/bin/env bash
myvar="hello"
myfunc() {
     myvar="one two three"
     for x in $myvar
     do
         echo $x
     done
}
myfunc
echo $myvar $x
输出：
one
two
three
one two three three  #函数myfunc中的变量，在函数之外仍然存在。
#你可以通过关键字 local 限制变量只在函数中有效果 #这个比较迥异

还有更迥异的吗？

参考文献：

1. http://www.ibm.com/developerworks/cn/linux/shell/bash/bash-1/index.html
2. http://www.ibm.com/developerworks/cn/linux/shell/bash/bash-2/index.html
3. http://www.ibm.com/developerworks/cn/linux/shell/bash/bash-3/index.html
4. http://www.linuxsir.org/main/?q=node/135
5. BASH Programming − Introduction HOW−TO