1. kpatch 是什么?

livepatch 实时或动态内核修补允许为正在运行的内核提供功能增强,无需重新启动系统,这对于某些在线系统修复安全漏洞非常有帮助。

Kpatch 是给 Linux 内核 livepatch 的工具,由 Redhat 公司出品。最早出现的打热补丁工具是 Ksplice。但是 Ksplice 被 Oracle 收购后,一些发行版生产商就不得不开发自己的热补丁工具,分别是 Redhat 的 Kpatch 和 Suse 的 KGraft。同时,在这两家厂商的推进下,kernel 4.0 开始,开始集成了 livepatch 技术。 Kpatch 虽然是 Redhat 研发,但其也支持 Ubuntu、Debian、Oracle Linux 等的发行版。

kpatch 使用限制

livepatch 不是万能的,尤其是现在技术还不足够成熟的时候。在使用 Kpatch livepatch 存在的限制:

  • 不支持修改 init 函数 (用 __init 注解) 的补丁。如果补丁试图这样做,kpatch-build 将返回一个错误。
  • 不直接支持修改静态分配数据的补丁, kpatch-build 会检测到并返回错误。这个限制可以通过使用回调或影子变量来克服,如补丁作者指南中所述。
  • 改变函数与动态分配数据交互方式的补丁可能是安全的,也可能不是。kpatch-build 不可能验证这种补丁的安全性。这取决于用户是否了解这个补丁的作用,新的函数与动态分配数据的交互方式是否与旧的函数不同,以及将这样的补丁原子化地应用到运行中的内核上是否安全。
  • 不支持修改 vdso 函数的补丁。这些补丁在用户空间中运行,ftrace 无法钩住它们。
  • 不支持修改缺少 fentry 调用的函数的补丁。这包括任何被归档到 lib.a 库中供以后链接的 lib-y 目标 (例如 lib/string.o)。

目前,kpatch 与 ftrace 和 kprobes 的使用之间存在一些不兼容的情况。更多细节请参见常见问题部分

本文将介绍在 CentOS7.7下安装和使用 Kpatch 软件,并用于解决我们在 kubenetes 集群中由于 service 过多导致 ipvs 中 estimation_timer 函数的内核延时过高,从而导致网络都发包抖动的问题。 该问题的完整描述可以参见这里 的第二部分,我们的排查方式类似,这里我们重点讲述修复的方式。

我们生产环境中大概存在 30000 条左右的 ipvs 规则,主机命名空间中的 estimation_timer 在内核中的遍历耗时非常高,参见下图

ipvs_timer.png

2. kpatch 样例测试

2.1 安装

我们的平台是 CentOS 7.7.1908 版本,内核版本为 3.10.0-1062.9.1.el7.x86_64

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
$ lsb_release -a
LSB Version:	:core-4.1-amd64:core-4.1-noarch
Distributor ID:	CentOS
Description:	CentOS Linux release 7.7.1908 (Core)
Release:	7.7.1908
Codename:	Core

$ uname  -a
Linux 3.10.0-1062.9.1.el7.x86_64 #1 SMP Fri Dec 6 15:49:49 UTC 2019 x86_64 x86_64 x86_64 GNU/Linux

# 检查一下我们系统是否已经支持了 live patch
$ cat /boot/config-3.10.0-1062.9.1.el7.x86_64 |grep PATCH
CONFIG_HAVE_LIVEPATCH=y
CONFIG_LIVEPATCH=y
CONFIG_DVB_BUDGET_PATCH=m
CONFIG_SND_HDA_PATCH_LOADER=y

安装官方仓库给的安装文档中关于 Fedora, RHEL, CentOS 中的章节:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
# 从官方拉取仓库
$ git clone https://github.com/dynup/kpatch.git
$ source test/integration/lib.sh
# 中间会使用 yum 安装相关的依赖包,安装时间视网络情况而定,在阿里云的环境下需要的时间比较长
$ sudo kpatch_dependencies

$ cd kpatch 

# 进行编译
$ make

# 默认安装到 /usr/local,需要注意 kpatch-build 在目录 /usr/local/bin/ 下,而 kpatch 在 /usr/local/sbin/ 目录
$ sudo make install

$ /usr/local/bin/kpatch-build -h
usage: kpatch-build [options] <patch1 ... patchN>
		patchN             Input patchfile(s)
		-h, --help         Show this help message
		-a, --archversion  Specify the kernel arch version
		-r, --sourcerpm    Specify kernel source RPM
		-s, --sourcedir    Specify kernel source directory
		-c, --config       Specify kernel config file
		-v, --vmlinux      Specify original vmlinux
		-j, --jobs         Specify the number of make jobs
		-t, --target       Specify custom kernel build targets
		-n, --name         Specify the name of the kpatch module
		-o, --output       Specify output folder
		-d, --debug        Enable 'xtrace' and keep scratch files
		                   in <CACHEDIR>/tmp
		                   (can be specified multiple times)
		-e, --oot-module   Enable patching out-of-tree module,
		                   specify current version of module
		--skip-cleanup     Skip post-build cleanup
		--skip-gcc-check   Skip gcc version matching check
		                   (not recommended)

到此 kpatch 已经安装到了系统中。舞台已经搭建完成,但是我们还需要演员登场,而演员就是我们系统运行的内核源码。

在安装过程中已经安装了内核的对应的 debug 包,内核的源码位于以下目录:

1
/usr/src/debug/kernel-3.10.0-1062.9.1.el7/linux-3.10.0-1062.9.1.el7.x86_64

2.2 官方样例测试

我们使用官方提供的样例程序进行简单测试:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
$ cd kpatch/test/integration/rhel-7.7
$ cat meminfo-string.patch
Index: kernel/fs/proc/meminfo.c
===================================================================
--- kernel.orig/fs/proc/meminfo.c
+++ kernel/fs/proc/meminfo.c
@@ -99,7 +99,7 @@ static int meminfo_proc_show(struct seq_
 		"Committed_AS:   %8lu kB\n"
 		"VmallocTotal:   %8lu kB\n"
 		"VmallocUsed:    %8lu kB\n"
-		"VmallocChunk:   %8lu kB\n"
+		"VMALLOCCHUNK:   %8lu kB\n"
 #ifdef CONFIG_MEMORY_FAILURE
 		"HardwareCorrupted: %5lu kB\n"
 #endif
 
$sudo  /usr/local/bin/kpatch-build -t vmlinux meminfo-string.patch
ERROR: gcc/kernel version mismatch
gcc version:    GCC: (GNU) 4.8.5 20150623 (Red Hat 4.8.5-44)
kernel version: GCC: (GNU) 4.8.5 20150623 (Red Hat 4.8.5-39)
Install the matching gcc version (recommended) or use --skip-gcc-check
to skip the version matching enforcement (not recommended)
ERROR: kpatch build failed. 

# 这个报错是因为系统当前的 gcc 版本系统是 Red Hat 4.8.5-44,而 kernel version 的是 Red Hat 4.8.5-39
# 但是 gcc 的版本是一致的 4.8.5 20150623, 这里我们通过 --skip-gcc-check 跳过 gcc 检测

$ sudo /usr/local/bin/kpatch-build -t vmlinux meminfo-string.patch  --skip-gcc-check
WARNING: Skipping gcc version matching check (not recommended)
Fedora/Red Hat distribution detected
Downloading kernel source for 3.10.0-1062.9.1.el7.x86_64
ERROR: kpatch build failed. Check /root/.kpatch/build.log for more details.

# cat /root/.kpatch/build.log
Loaded plugins: auto-update-debuginfo, fastestmirror
Enabling updates-source repository
Enabling base-source repository
Enabling extras-source repository
Loading mirror speeds from cached hostfile
No Match for argument kernel-3.10.0-1062.9.1.el7
Nothing to download

通过日志查看,我们的得知是 kernel-3.10.0-1062.9.1.el7 的源码没有下载,通过查看源码我们发现 kpatch-build 中的下载源码逻辑为(备注:下面脚本是我提取出来,用于验证的脚本):

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
#!/bin/bash
ARCHVERSION=$(uname -r)
KVER="${ARCHVERSION%%-*}"
if [[ "$ARCHVERSION" =~ - ]]; then
	KREL="${ARCHVERSION##*-}"
	KREL="${KREL%.*}"
	[[ "$KREL" =~ .el7a. ]] && ALT="-alt"
fi

yumdownloader --source "kernel$ALT-$KVER-$KREL"

# yumdownloader --source kernel-3.10.0-1062.9.1.el7

yumdownloader 最后执行的命令为:

1
2
3
4
5
6
7
8
9
# yumdownloader --source kernel-3.10.0-1062.9.1.el7,采用手工执行
$ sudo yumdownloader --source kernel-3.10.0-1062.9.1.el7
Loaded plugins: auto-update-debuginfo, fastestmirror
Enabling updates-source repository
Enabling base-source repository
Enabling extras-source repository
Loading mirror speeds from cached hostfile
No Match for argument kernel-3.10.0-1062.9.1.el7
Nothing to download

报错的信息与 kpatch 完全一致,搜索 kpatch 仓库发现有个 issue #887,解决了内核版本下载名字的问题,但是对于我们当前的问题还是没有帮助,于是决定直接手工下载源码 rpm 包。具体下载的方式参见 2.3 章节,我们从 这里 下载 kernel-3.10.0-1062.9.1.el7.src.rpm。然后我们调整一下 kpatch-build 的命令格式,我们指定源码的来源 -r kernel-3.10.0-1062.9.1.el7.src.rpm

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
$ sudo /usr/local/bin/kpatch-build -t vmlinux meminfo-string.patch  --skip-gcc-check -r kernel-3.10.0-1062.9.1.el7.src.rpm
WARNING: Skipping gcc version matching check (not recommended)
Fedora/Red Hat distribution detected
Downloading kernel source for 3.10.0-1062.9.1.el7.x86_64
Unpacking kernel source
Testing patch file(s)
Reading special section data
Building original source
Building patched source
Extracting new and modified ELF sections
meminfo.o: changed function: meminfo_proc_show
Patched objects: vmlinux
Building patch module: livepatch-meminfo-string.ko
SUCCESS

# 编译完成后,目录下会存在一个 livepatch-meminfo-string.ko 文件,如果系统支持 livepatch 那么生成的 ko 以 livepath 开头
# 否则,则会以 kpatch 开头
$ ls -hl livepatch-meminfo-string.ko
-rw-r--r-- 1 root root 450K Dec  3 15:46 livepatch-meminfo-string.ko

# 至此为止,我们已经完成了 livepatch-meminfo-string.ko 的生成

在编译完成后将源代码解压到目录 ~/.kpatch/src 中。

1
2
3
4
$ ls -hl ~/.kpatch/
total 8.0K
drwxr-xr-x 25 root root 4.0K Dec  3 17:07 src
-rw-r--r--  1 root root   27 Dec  3 17:04 version

通过 kpatch 命令加载生成的 ko 文件:

1
2
3
4
5
6
7
$ sudo /usr/local/sbin/kpatch load livepatch-meminfo-string.ko
loading patch module: livepatch-meminfo-string.ko
waiting (up to 15 seconds) for patch transition to complete...
patch transition has stalled!
signaling stalled process(es):
waiting (up to 60 seconds) for patch transition to complete...
transition complete (1 seconds)

这时候我们通过 dmesg 查看内核日志,可以发现以下记录:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
$ dmesg -T
[Thu Dec  3 14:58:01 2020] livepatch: signaling remaining tasks
[Thu Dec  3 14:58:01 2020] livepatch: 'livepatch_ipvs_timer': patching complete
[Thu Dec  3 15:07:14 2020] livepatch: 'livepatch_ipvs_timer': starting unpatching transition
[Thu Dec  3 15:07:29 2020] livepatch: signaling remaining tasks
[Thu Dec  3 15:07:30 2020] livepatch: 'livepatch_ipvs_timer': unpatching complete
[Thu Dec  3 15:59:49 2020] livepatch: enabling patch 'livepatch_meminfo_string'
[Thu Dec  3 15:59:49 2020] livepatch: 'livepatch_meminfo_string': starting patching transition
[Thu Dec  3 16:00:04 2020] livepatch: signaling remaining tasks
[Thu Dec  3 16:00:05 2020] livepatch: 'livepatch_meminfo_string': patching complete

如果日志没有任何报错,则表明 livepatch 已经生效。

1
2
3
4
#-		"VmallocChunk:   %8lu kB\n"
#+		"VMALLOCCHUNK:   %8lu kB\n"
$ grep -i chunk /proc/meminfo
VMALLOCCHUNK:   34359580860 kB

验证 livepatch 已经生效。通过 list 命令可以参考到 livepatch 状态:

1
2
3
4
5
# /usr/local/sbin/kpatch list
Loaded patch modules:
livepatch_meminfo_string [enabled]

Installed patch modules:

我们卸载 livepatch,再次进行验证:

1
2
3
4
5
6
7
8
$ sudo /usr/local/sbin/kpatch unload livepatch-meminfo-string.ko
disabling patch module: livepatch_meminfo_string
waiting (up to 15 seconds) for patch transition to complete...
patch transition has stalled!
signaling stalled process(es):
waiting (up to 60 seconds) for patch transition to complete...
transition complete (1 seconds)
unloading patch module: livepatch_meminfo_string

通过 list 命令检查,这时候可以验证 livepatch 已经卸载。

1
2
3
4
5
6
7
$ sudo /usr/local/sbin/kpatch list
Loaded patch modules:

Installed patch modules:

$ grep -i chunk /proc/meminfo
VmallocChunk:   34359580860 kB

如果担心 livepatch 会在机器重启失效,那么可以使用 kpatch install 的命令安装,可以保证下次重新启动的时候能够生效。

kpatch 的使用命令详情如下:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
 /usr/local/sbin/kpatch -h
usage: kpatch <command> [<args>]

Valid commands:
   install [-k|--kernel-version=<kernel version>] <module>
      install patch module to be loaded at boot
   uninstall [-k|--kernel-version=<kernel version>] <module>
      uninstall patch module

   load --all
      load all installed patch modules into the running kernel
   load <module>
      load patch module into the running kernel
   unload --all
      unload all patch modules from the running kernel
   unload <module>
      unload patch module from the running kernel

   info <module>
      show information about a patch module

   list
      list installed patch modules

   signal
      signal/poke any process stalling the current patch transition

   version
      display the kpatch version

2.3 安装 CentOS 系统源码

CentOS 内核的安装参见:我需要内核的源代码,大多数场景下只需要 header 文件即可,但是我们是要修改源码并进行重新编译,因此需要下载完整的源码 rpm。按照文档的提示,源码目录格式为:

http://vault.centos.org/7.N.YYMM/os/Source/SPackages/ http://vault.centos.org/7.N.YYMM/updates/Source/SPackages/

我们系统版本为 CentOS 7.7.1908,因此下载安装包的目录为

rpm 包格式采用 cpio 格式打包,可以使用 cpio 解压:

1
2
3
4
$ rpm2cpio xxx.rpm| cpio -div

# tar -xvf xxx.tar.xz
$ tar -xvJf xxx.tar.xz

3. 实战 ipvs estimation_timer 的延时问题

将下载的 rpm.src 解压:

1
2
3
4
$ rpm2cpio kernel-3.10.0-1062.9.1.el7.src.rpm |cpio -div 
$ xz -d linux-3.10.0-1062.9.1.el7.tar.xz 
$ tar -xvf linux-3.10.0-1062.9.1.el7.tar
$ cp -ra linux-3.10.0-1062.9.1.el7/ linux-3.10.0-1062.9.1.el7-patch

3.1 第一版,设置为空函数

estimation_timer 函数位于 net/netfilter/ipvs/ip_vs_est.c 文件中,函数声明如下:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
static void estimation_timer(unsigned long arg)
{
	struct ip_vs_estimator *e;
	struct ip_vs_stats *s;
	u32 n_conns;
	u32 n_inpkts, n_outpkts;
	u64 n_inbytes, n_outbytes;
	u32 rate;
	struct net *net = (struct net *)arg;
	struct netns_ipvs *ipvs;

	ipvs = net_ipvs(net);
	spin_lock(&ipvs->est_lock);
	list_for_each_entry(e, &ipvs->est_list, list) {  // 因为遍历的条目不固定,在条目多的时候引起延时过高
		s = container_of(e, struct ip_vs_stats, est);

		spin_lock(&s->lock);
		ip_vs_read_cpu_stats(&s->ustats, s->cpustats);
    
    // ...
	}
	spin_unlock(&ipvs->est_lock);
	mod_timer(&ipvs->est_timer, jiffies + 2*HZ); // 每 2s 启动启动一次
}

如何修改这个函数可以快速达到我们的效果,我的第一直觉是把这个函数完全清空,这样比较容易实现:

1
2
3
4
static void estimation_timer(unsigned long arg)
{
    return;
}

生成我们第一份的 patch

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
$ diff -u linux-3.10.0-1062.9.1.el7/net/netfilter/ipvs/ip_vs_est.c linux-3.10.0-1062.9.1.el7-patch/net/netfilter/ipvs/ip_vs_est.c > ip_vs_timer_v1.patch
$ cat ip_vs_timer_v1.patch
--- linux-3.10.0-1062.9.1.el7/net/netfilter/ipvs/ip_vs_est.c	2019-12-02 21:08:40.000000000 +0800
+++ linux-3.10.0-1062.9.1.el7-patch/net/netfilter/ipvs/ip_vs_est.c	2020-12-03 18:07:53.206490443 +0800
@@ -91,52 +91,7 @@

 static void estimation_timer(unsigned long arg)
 {
-	struct ip_vs_estimator *e;
-	struct ip_vs_stats *s;
-	u32 n_conns;
-	u32 n_inpkts, n_outpkts;
-	u64 n_inbytes, n_outbytes;
-	u32 rate;
-	struct net *net = (struct net *)arg;
-	struct netns_ipvs *ipvs;
-
-	ipvs = net_ipvs(net);
-	spin_lock(&ipvs->est_lock);
-	list_for_each_entry(e, &ipvs->est_list, list) {
-		s = container_of(e, struct ip_vs_stats, est);
-
-		spin_lock(&s->lock);
-		ip_vs_read_cpu_stats(&s->ustats, s->cpustats);
....
-		spin_unlock(&s->lock);
-	}
-	spin_unlock(&ipvs->est_lock);
-	mod_timer(&ipvs->est_timer, jiffies + 2*HZ);
+	return;
 }

 void ip_vs_start_estimator(struct net *net, struct ip_vs_stats *stats)

将 patch 文件复制到我们制定目录后,进行验证:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
$ sudo /usr/local/bin/kpatch-build ip_vs_timer_v1.patch --skip-gcc-check --skip-cleanup -r /root/kernel-3.10.0-1062.9.1.el7.src.rpm
WARNING: Skipping gcc version matching check (not recommended)
Skipping cleanup
Using cache at /root/.kpatch/src
Testing patch file(s)
Reading special section data
Building original source
Building patched source
ERROR: kpatch build failed. Check /root/.kpatch/build.log for more details

$ cat /root/.kpatch/build.log
...
net/netfilter/ipvs/ip_vs_est.c:58:13: error: ‘ip_vs_read_cpu_stats’ defined but not used [-Werror=unused-function]
 static void ip_vs_read_cpu_stats(struct ip_vs_stats_user *sum,
             ^
cc1: all warnings being treated as errors
make[3]: *** [net/netfilter/ipvs/ip_vs_est.o] Error 1
make[2]: *** [net/netfilter/ipvs] Error 2
make[1]: *** [net/netfilter] Error 2
make: *** [net] Error 2
make: *** Waiting for unfinished jobs....

这是因为我们修改了注释函数 estimation_timer 中的所有调用,导致这个函数定义的函数 ip_vs_read_cpu_stats 没有了调用方。

如果 /usr/local/bin/kpatch-build 添加了 –skip-cleanup 选项,则不会清理缓存,下次在进行 patch 的时候,会使用缓存目录 /root/.kpatch/src 中已经 patch 过的源代码,所以会导致 patch 的时候出错:

1
2
3
4
$ cat /root/.kpatch/build.log
checking file net/netfilter/ipvs/ip_vs_est.c
Reversed (or previously applied) patch detected!  Skipping patch.
1 out of 1 hunk ignored

解决的方式是将 patch 过程中的出错的文件 net/netfilter/ipvs/ip_vs_est.c 还原成未执行 patch 的文件。

1
2
$ cp linux-3.10.0-1062.9.1.el7/net/netfilter/ipvs/ip_vs_est.c /root/.kpatch/src/net/netfilter/ipvs/ip_vs_est.c
cp: overwrite ‘/root/.kpatch/src/net/netfilter/ipvs/ip_vs_est.c’? y

该问题需要验证是否有其他方式规避。

3.2 第二版,注释掉定时器设置

生成第二份 patch

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
# cat ip_vs_timer_v2.patch
--- linux-3.10.0-1062.9.1.el7/net/netfilter/ipvs/ip_vs_est.c	2019-12-02 21:08:40.000000000 +0800
+++ linux-3.10.0-1062.9.1.el7-patch/net/netfilter/ipvs/ip_vs_est.c	2020-12-03 18:48:45.245063479 +0800
@@ -136,7 +136,10 @@
 		spin_unlock(&s->lock);
 	}
 	spin_unlock(&ipvs->est_lock);
-	mod_timer(&ipvs->est_timer, jiffies + 2*HZ);
+	/* delete timer */
+	/* mod_timer(&ipvs->est_timer, jiffies + 2*HZ); */
+	printk("hotfix estimation_timer patched\n");
+
 }

 void ip_vs_start_estimator(struct net *net, struct ip_vs_stats *stats)

继续编译生成:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
$ sudo /usr/local/bin/kpatch-build ip_vs_timer_v2.patch --skip-gcc-check --skip-cleanup -r /root/kernel-3.10.0-1062.9.1.el7.src.rpm
WARNING: Skipping gcc version matching check (not recommended)
Skipping cleanup
Using cache at /root/.kpatch/src
Testing patch file(s)
Reading special section data
Building original source
Building patched source
Extracting new and modified ELF sections
ip_vs_est.o: changed function: estimation_timer
Patched objects: net/netfilter/ipvs/ip_vs.ko
Building patch module: livepatch-ip_vs_timer_v2.ko
SUCCESS

$ ls -hl livepatch-ip_vs_timer_v2.ko
-rw-r--r-- 1 root root 586K Dec  3 18:53 livepatch-ip_vs_timer_v2.ko

在 patch 前我们先使用 perf-tools 的 funcgraph 工具来验证是否 ip_vs 模块中 estimation_timer 的函数调用层级和耗时:

# ./funcgraph  estimation_timer
Tracing "estimation_timer"... Ctrl-C to end.
  0)               |  estimation_timer [ip_vs]() {
  0)   0.234 us    |    _raw_spin_lock();
  0)   0.399 us    |    _raw_spin_lock();
  					...
  0)               |    mod_timer() {
  0)               |      lock_timer_base.isra.37() {
  0)   0.202 us    |        _raw_spin_lock_irqsave();
  0)   0.566 us    |      }
  0)   0.044 us    |      detach_if_pending();
  0)   0.599 us    |      get_nohz_timer_target();
  0)               |      internal_add_timer() {
  0)   0.213 us    |        __internal_add_timer();
  0)   0.053 us    |        wake_up_nohz_cpu();
  0)   0.994 us    |      }
  0)   0.072 us    |      _raw_spin_unlock_irqrestore();
  0)   4.105 us    |    }
  0) ! 345.402 us  |  }

我们使用 nm 查看 livepatch-ip_vs_timer_v2.ko 文件的符号表:

1
2
# nm livepatch-ip_vs_timer_v2.ko|grep estimation_timer
0000000000000000 t estimation_timer

使用 kpatch 加载 ko 模块

1
2
3
4
5
6
7
$ sudo /usr/local/sbin/kpatch load livepatch-ip_vs_timer_v2.ko
loading patch module: livepatch-ip_vs_timer_v2.ko
waiting (up to 15 seconds) for patch transition to complete...
patch transition has stalled!
signaling stalled process(es):
waiting (up to 60 seconds) for patch transition to complete...
transition complete (1 seconds)

查看内核日志

1
2
3
4
$ dmesg -T
[Thu Dec  3 19:50:50 2020] livepatch: enabling patch 'livepatch_ip_vs_timer_v2'
[Thu Dec  3 19:50:50 2020] livepatch: 'livepatch_ip_vs_timer_v2': starting patching transition
[Thu Dec  3 19:50:50 2020] hotfix estimation_timer patched

hotfix estimation_timer patched 正是我们 v2 版本函数替换的打印,表明我们已经使用我们定义的函数完成了 ipvs 模块对应函数的替换。

1
2
3
# grep estimation_timer /proc/kallsyms
ffffffffc06561c0 t estimation_timer	[livepatch_ip_vs_timer_v2]
ffffffffc0511cf0 t estimation_timer	[ip_vs]

我们再次使用 perf_tools 中的工具 funcgraph 验证:

1
2
3
4
$ sudo ./funcgraph estimation_timer -d 20
Tracing "estimation_timer"... Ctrl-C to end.
^C
Ending tracing.

通过我们的 livepatch 成功修订了 estimation_timer 的调用,一切看起来很成功。

验证完成后,unload 掉 livepatch,我们期望是能够正常恢复 estimation_timer 的统计,但是采用 funcgraph 工具查看,却迟迟看不到

estimation_timer 的踪影,如果我们对 estimation_timer 的修改还有印象的话,那么一定还会记着,我们在函数尾部注销每次 2s 启动的逻辑,通过我们自己的函数替换,导致了我们模块卸载以后,也没有定时器来触发原有 ipvs 模块中的 estimation_timer 函数。尽管我们实现了期望的功能,但是在回滚后却中断了原有的业务逻辑功能,这在生产环境中是存在风险了,那么我们如何修改才能够实现可替换、可回滚呢?

如果我们能够容忍一定时间的延时,降低该函数带来的影响,我们可以把函数的触发周期从 2s 调整成我们可以接受的时间内,比如 5分钟,这样如果我们 livepatch 卸载以后,最多 5 分钟就可以实现功能恢复至原有逻辑,一定程度也是可以接受的。

3.3 第三版,只是修改定时器时长

1
mod_timer(&ipvs->est_timer, jiffies + 300*HZ); // 2s -> 5min

整个验证过程同上,省略。

estimation_timer 函数的缺失,理论是影响了 ipvs 中 RS 的统计,如下:

1
2
3
4
5
6
# ipvsadm -Ln --stats|grep "10.85.0.1:443" -A 3
TCP  10.85.0.1:443                      15     1044     1003   125874  1163064
  -> 172.16.132.179:6443                 5      579      592    55305  1007040
  -> 172.16.133.23:6443                  5       96       99    13676    57537
  -> 172.16.134.72:6443                  5      369      312    56893    98487

如果定时器停止运转,那么上述的统计数据则不再更新。

4. 参考