Linux Debugging 4 - Primer on PC Architecture

1. 需要了解的汇编基础知识

通用寄存器：AX(参数传递以及函数调用返回值)，BX(base)，CX(计数器)，DX(Data被除数)

堆栈寄存器：SP(栈顶指针)，BP(栈基址指针)

字符串操作寄存器：SI(source index)，DI(dest index)

指令计数器：IP(Instruction pointer)

标志寄存器：FLAGS(PUSHF/POPF)

段寄存器：CS(last 2 bits hold the current privilege level)，DS，SS，ES，FS，GS

调试寄存器：DR0-3, DR6, DR7(仅在ring0可以操作)

控制寄存器：CR0(PG-bit31,PE-bit0), CR1, CR2, CR3(页表寄存器), CR4(PAE)

在64位系统中，所有的E寄存器扩展为64位的R寄存器，以及另外的R8至R15寄存器。

注意：

1) 如果程序编译时使用了-fomit-frame-pointer，则不使用BP寄存器

/home/a/j/nomad2:cc -fomit-frame-pointer hello.c 
/home/a/j/nomad2:objdump -dS a.out |less
0000000000400498 <main>:
  400498:       48 83 ec 08             sub    $0x8,%rsp
  40049c:       bf 98 05 40 00          mov    $0x400598,%edi
  4004a1:       e8 1a ff ff ff          callq  4003c0 <puts@plt>
  4004a6:       b8 00 00 00 00          mov    $0x0,%eax
  4004ab:       48 83 c4 08             add    $0x8,%rsp
  4004af:       c3                      retq   

2) od -x a.out

3) IP 指向下一条将要执行的指令的地址，可以通过指令jmp, call, ret, sysenter/syscall, int来改变。

4) 下面的这段程序的目的是对齐ESP指针（16字节）

mov %esp, %ebp
and $0xfff0, %esp
sub $0x10, %esp
...

5) 汇编代码要从后往前读，否则很容易lost

6) 对32位程序来说，函数最好不要超过4个参数，否则多余的参数要通过栈来传递，而不是通过通用寄存器。

理论依据：四色原理与寄存器分配（http://en.wikipedia.org/wiki/Graph_coloring#Register_allocation）

7) 如果在调试时，发现esp的内容类似“xxx000”，说明产生了“page fault”.

同时，BP和SP的内容应该相差不大，如果相差很大，说明BP被破坏了，SP的内容是好的。

8) 下面的函数function，首先保存原BP值，然后用当前SP值更新BP值，使其指向新的栈基地址；然后SP-32个字节越过局部变量区。

00000000004004c8 <function>:
void function() {
  4004c8:       55                      push   %rbp
  4004c9:       48 89 e5                mov    %rsp,%rbp
  4004cc:       48 83 ec 20             sub    $0x20,%rsp
  4004d0:       64 48 8b 04 25 28 00    mov    %fs:0x28,%rax
  4004d7:       00 00 
  4004d9:       48 89 45 f8             mov    %rax,-0x8(%rbp)
  4004dd:       31 c0                   xor    %eax,%eax
        char buffer2[16];
}

2. 进程的内存空间分布

refer to http://blog.csdn.net/BetterManLu/archive/2010/05/09/5571663.aspx

3. 技巧

在代码中不使用assert，abort，而是"int #3"，这是因为在调试时可以加断点，并且可以continue执行代码。例子如下，

nomad2@ubuntu:~/c$ cat c.c
#include <stdio.h>
int j = 0;
void f()
{
        char *c = malloc(32*1024*1024);
        if (j > 100)
        {
                __asm("int $3");
        }
        else
        {
                j = j + 1;
                f();
        }
}
int main()
{
        f();
}
nomad2@ubuntu:~/c$ ./a.out
Trace/breakpoint trap (core dumped)

更好的一种写法，

nomad2@ubuntu:~/c$ cat c.c
#include <stdio.h>
#define BREAK __asm("int $3")
int j = 0;
void f()
{
        char *c = malloc(32*1024*1024);
        if (j > 100)
        {
#ifdef DEBUG
                BREAK;
#endif
        }
        else
        {
                j = j + 1;
                f();
        }
}
int main()
{
        f();
}
nomad2@ubuntu:~/c$ cc -DDEBUG -g2 c.c
nomad2@ubuntu:~/c$ ./a.out
Trace/breakpoint trap (core dumped)

4. 虚拟内存

从虚拟地址到物理内存地址的转换包含3个步骤，

1) CR3指向PDT(Page Directory Table)的基地址, 而虚拟地址的前10位指向了该表的一个表项(Page Descriptor offset)

2) 虚拟地址的中间的10位指向了一个具体的页表(PTE, Page Table offset)

3) 最后的12位是在该页表中的偏移量，每个页表最多4K (Page offset)

注意：

1) 每个进程的地址空间为4G。

2) 在每个页表中，每项的最后12位，可以用做该页的标志位，参考http://wiki.osdev.org/Paging

3) 关于VSDO，a shared object exposed by the kernel at a fixed address in every process’ memory

4) OOM

下面是一个例子，程序占用内存太大，被系统kill掉了。(resident memory里面是数据 )

/home/a/j/nomad2:cat e.c
#include <stdio.h>
void f()
{
        char *c = malloc(16 * 1024 * 1024);
        memset(c, 'S', 16 * 1024 * 1024);
//      sleep(1);
        f();
}
int main()
{
        f();
}
/home/a/j/nomad2:cat /proc/sys/vm/oom_kill_allocating_task
0

dmesg的结果显示a.out被kill了，如果这是应用服务程序，杯具了。

可以参考http://www.dbanotes.net/database/linux_outofmemory_oom_killer.html

[40024.672983] Swap cache: add 1482649, delete 1482649, find 27576/31372, race 0+6
[40024.672985] Free swap  = 0kB
[40024.672986] Total swap = 3004112kB
[40024.672987] Free swap:            0kB
[40024.717122] 2228224 pages of RAM
[40024.717124] 179437 reserved pages
[40024.717125] 1630 pages shared
[40024.717126] 1 pages swap cached
[40024.717128] Out of memory: kill process 12890 (a.out) score 2704947 or a child
[40024.717213] Killed process 12890 (a.out)

同样的例子，修改每次分配的内存空间大小，这次失败的原因变成了malloc失败导致的segV，(resident memory里面是页表 )

/home/a/j/nomad2:cat e.c
#include <stdio.h>
void f()
{
        char *c = malloc(128 * 1024 * 1024);
        memset(c, 'S', 1 * 1024 * 1024);
        f();
}
int main()
{
        f();
}

检查dmesg,有如下的内容

[41521.451367] b.out[22155]: segfault at 0 rip 7f36e0c94390 rsp 7fffe9146ac8 error 6

5) 共享内存，例如libc

/home/a/j/nomad2:cat /proc/$$/maps |grep libc
7f4eab18a000-7f4eab2e2000 r-xp 00000000 08:01 17825953                   /lib/libc-2.7.so
7f4eab2e2000-7f4eab4e2000 ---p 00158000 08:01 17825953                   /lib/libc-2.7.so
7f4eab4e2000-7f4eab4e5000 r--p 00158000 08:01 17825953                   /lib/libc-2.7.so
7f4eab4e5000-7f4eab4e7000 rw-p 0015b000 08:01 17825953                   /lib/libc-2.7.so
/home/a/j/nomad2:cat /proc/25570/maps |grep libc
7f964ec82000-7f964edda000 r-xp 00000000 08:01 17825953                   /lib/libc-2.7.so
7f964edda000-7f964efda000 ---p 00158000 08:01 17825953                   /lib/libc-2.7.so
7f964efda000-7f964efdd000 r--p 00158000 08:01 17825953                   /lib/libc-2.7.so
7f964efdd000-7f964efdf000 rw-p 0015b000 08:01 17825953                   /lib/libc-2.7.so

6) resident memory vs virtual memory

resident memory typically refers to physical RAM installed in the machine.

virtual memory is Hard Disk space reserved for the O/S to act as RAM. The O/S "swaps" data in and out of the virtual memory to place it in RAM, or to take it out of RAM. linux "swap" devices are exactly this.

shared memory refers to physical or virtual memory that is attached to more than one process - being shared.

7) TLB:Translation Lookaside Buffer

根据功能可以译为快表，直译可以翻译为旁路转换缓冲，也可以把它理解成页表缓冲。里面存放的是一些页表文件（虚拟地址到物理地址的转换表）。当处理器要在主内存寻址时，不是直接在内存的物理地址里查找的，而是通过一组虚拟地址转换到主内存的物理地址，TLB就是负责将虚拟内存地址翻译成实际的物理内存地址，而CPU寻址时会优先在TLB中进行寻址。处理器的性能就和寻址的命中率有很大的关系。
映射机制必须使一个程序能断言某个地址在其自己的进程空间或地址空间内，并且能够高效的将其转换为真实的物理地址以访问内存。一个方法是使用一个含有整个空间内所有页的入口（entry）的表（即页表），每个入口包含这个页的正确物理地址。这很明显是个相当大的数据结构，因而不得不存放于主存之中。
由于CPU首先接到的是由程序传来的虚拟内存地址，所以CPU必须先到物理内存中取页表，然后对应程序传来的虚拟页面号，在表里找到对应的物理页面号，最后才能访问实际的物理内存地址，也就是说整个过程中CPU必须访问两次物理内存(实际上访问的次数更多)。因此，为了减少CPU访问物理内存的次数，引入 TLB。

5. 物理地址扩展(PAE)

可以使机器支持4GB 以上物理内存，寻址方式变为2+9+9+12，每个进程的地址空间仍是4G。这时的CR3指向Page Directory Pointer Table。

对于PDT和PT，每个表项由32位变为8个字节，表项数目由1024变为了512(2^9)，但是总的空间仍是4K。

6. 64位机器

汇编最多使用6个寄存器（r8,r9），第7个参数入栈。

寻址方式为9+9+9+9+12， 仅使用了48位。

下面的例子展示了浮点数参数是如何传递的，

/home/a/j/nomad2:cat f.c
#include <stdio.h>
void f(int a, int b, int c, float d)
{
}
int main()
{
        f(1, 2, 3, 4.0);
}

使用gdb a.out显示了浮点数不是通过寄存器传递的，

(gdb) disass main
Dump of assembler code for function main:
0x000000000040045c <main+0>:    push   %rbp
0x000000000040045d <main+1>:    mov    %rsp,%rbp
0x0000000000400460 <main+4>:    movss  0x100(%rip),%xmm0        # 0x400568
0x0000000000400468 <main+12>:   mov    $0x3,%edx
0x000000000040046d <main+17>:   mov    $0x2,%esi
0x0000000000400472 <main+22>:   mov    $0x1,%edi
0x0000000000400477 <main+27>:   callq  0x400448 <f>
0x000000000040047c <main+32>:   leaveq 
0x000000000040047d <main+33>:   retq   
End of assembler dump.
(gdb) x/16 0x400568
0x400568:       0x40800000      0x3b031b01      0x00000028      0x00000004
0x400578:       0xfffffedc      0x00000044      0xfffffef0      0x0000006c
0x400588:       0xffffff14      0x000000ac      0xffffff24      0x000000c4
0x400598:       0x00000014      0x00000000      0x00527a01      0x01107801
(gdb) x/f 0x400568
0x400568:       4