Kernel-module-for-monitoring-packet-routing-information

Kernel module for monitoring packet routing information

Linnux5.0.0下，基于`Netlink`与`NetFilter`对本机数据包进行筛选监控

需求：

开发一个Linux lkm + app program，由app program提供需要监控的源IP地址，内核模块根据此IP地址监控本机发送处与该源IP地址相同的所有的packet的5元组，源地址、目标地址、原端口、目标端口、协议，并将相关的信息传给应用程序，应用程序将该信息保存在文件中。

程序逻辑：

通信由用户程序发起，用户程序在开始时发送给内核模块一个源IP地址，之后用户程序将进入监听状态，内核模块将该IP地址以及用户程序的pid存下来作为目标IP地址和目标用户程序。之后用Netfilter中钩子函数判断每一个从本机发出的数据包中的源IP是否与目标IP地址相同，如果相同则钩子程序将数据包中的路由信息保存下来，通过Netlink发送给用户程序。用户程序接收到路由信息后，存在操作系统文件中。

开发/运行环境：

内核版本：Linux5.0.-37

发行版本：Ubuntu 18.04.1

运行日志

常用命令：

#查看系统日志
cat /var/log/kern.log
#打印系统日志到控制台
tail -f /var/log/kern.log &
#查看内核版本
cat /proc/version
#安装/卸载模块
insmod [mod]
rmmod [mod]

必备知识：

Linux内核模块编程
Netfilter子系统与hook函数编程
struct sk_buff,struct iphdr,struct tcphdr,struct udphdr等网络相关结构体使用
Netlink通讯机制

踩坑集锦：

高内核版本`Netfilter` `hook`函数注册：

在Linux4.13之前，注册钩子使用的函数为：

nf_register_hook(reg);

高于Linux4.13版本后，注册钩子使用的函数改变成了：

nf_register_net_hook(&init_net, reg);

若希望兼容Linux4.13之前和之后的版本，可以这样写：

#if LINUX_VERSION_CODE >= KERNEL_VERSION(4,13,0)
    nf_register_net_hook(&init_net, reg)
#else
    nf_register_hook(reg)
#endif

高内核版本hook函数原型声明：

早期linux内核中，Netfilter的hook函数原型为：

static unsigned int sample( unsigned int hooknum,
							struct sk_buff * skb,
							const struct net_device *in,
							const struct net_device *out,
							int (*okfn) (struct sk_buff *));

但在高版本linux内核（至少4.10以上已改变），Netfilter的hook函数原型变成了：

int sample_nf_hookfn(void *priv,
                     struct sk_buff *skb,
                     const struct nf_hook_state *state);

高内核版本创建`Netlink`处理函数：

在较低版本linux内核（Linux2.6）中，创建Netlink处理函数使用：

//假设nl_data_ready为处理函数
nl_sk = netlink_kernel_create(&init_net,
                              NETLINK_TEST, 
                              1,
                              nl_data_ready, 
                              NULL, 
                              HIS_MODULE);

高版本linux内核（至少3.8.13以上已经改变）中，创建netlink处理函数使用：

struct netlink_kernel_cfg cfg = {
    .input = nl_data_ready,//该函数原型可参考内核代码，其他参数默认即可，可参考内核中的调用
};
nl_sk = netlink_kernel_create(&init_net, 
                              NETLINK_TEST, 
                              &cfg);

消息发送后，`skb`释放问题：

当执行完netlink_unicast函数后skb不需要内核模块去释放，也不能去释放，否则会导致崩溃。因为netlink_unicast函数的返回不能保证用户层已经接受到消息，如果此时内核模块释放skb，会导致用户程序接收到一个已经释放掉的消息，当内核尝试处理此消息时会导致崩溃。内核会处理skb的释放，所以不会出现内存泄露问题，这里给出了详细解释。