Linux LVS构架负载均衡Linux集群系统（三）

实例

理解了上述关于请求转发方式和调度算法的基本概念后，就可以运用LVS来具体实现几种不同方 式的负载均衡的集群。LVS的配置是通过前面所安装的IP虚拟服务器软件ipvsadm来实现的。ipvsadm与LVS的关系类似于 iptables和NetFilter的关系，前者只是一个建立和修改规则的工具，这些命令的作用在重新启动后就消失了，所以应该将这些命令写到一个 脚本里，然后让它在系统启动后自动执行。网上有不少配置LVS的工具，有的甚至可以自动生成脚本。但是自己手工编写有助于更深入地了解，所以本文的安装没 有利用其它第三方提供的脚本，而是纯粹使用ipvsadm命令来配置。

下面就介绍一下如何配置LVS/NAT、LVS/TUN、LVS/DR方式的负载均衡集群。

1.设定LVS/NAT方式的负载均衡集群

NAT是指Network Address Translation，它的转发流程是：Director机器收到外界请求，改写数据包的目标地址，按相应的调度算法将其发送到相应Real Server上，Real Server处理完该请求后，将结果数据包返回到其默认网关，即Director机器上，Director机器再改写数据包的源地址，最后将其返回给外 界。这样就完成一次负载调度。

构架一个最简单的LVS/NAT方式的负载均衡集群如图2所示。

图2 LVS/NAT方式的集群简图

Real Server可以是任何的操作系统，而且无需做任何特殊的设定，惟一要做的就是将其默认网关指向Director机器。Real Server可以使用局域网的内部IP(192.168.0.0/24)。Director要有两块网卡，一块网卡绑定一个外部IP地址 (10.0.0.1)，另一块网卡绑定局域网的内部IP(192.168.0.254)，作为Real Server的默认网关。

这里将所有LVS的配置命令写到一个可执行脚本中，脚本如下：

将该脚本保存为/root/lvs_nat.sh，然后加上可执行属性，执行它：

运行该脚本后，一个简单的LVS/NAT方式的负载均衡集群已经成功架设。模拟多个用户从外 界访问10.0.0.1的80端口，用ipvsadm可以观看到以下信息：

其中ActiveConn表示对应的Real Server当前有多少个正在活动的连接，InActConn表示不活动的连接数。从这里我们可以看到有3个HTTP请求，被分别分配在不同的Real Server上，表明这个负载均衡集群正在成功运行中。

本例完成了这样一个简单的LVS/NAT集群，由此可以看出，LVS/NAT方式实现起来最 为简单，而且Real Server使用的是内部IP，可以节省Real IP的开销。但因为执行NAT需要重写流经Director的数据包，在速度上有一定延迟；另外，当用户的请求非常短，而服务器的回应非常大的情况下，会 对Director形成很大压力，成为新的瓶颈，从而使整个系统的性能受到限制。

2.设定LVS/TUN方式的负载均衡集群

TUN是指IP Tunneling，它的转发流程是：Director机器收到外界请求，按相应的调度算法将其通过IP隧道发送到相应Real Server，Real Server处理完该请求后，将结果数据包直接返回给客户。至此完成一次负载调度。

最简单的LVS/TUN方式的负载均衡集群架构如图3所示。

LVS/TUN使用IP Tunneling技术，在Director机器和Real Server机器之间架设一个IP Tunnel，通过IP Tunnel将负载分配到Real Server机器上。Director和Real Server之间的关系比较松散，可以是在同一个网络中，也可以是在不同的网络中，只要两者能够通过IP Tunnel相连就行。收到负载分配的Real Server机器处理完后会直接将反馈数据送回给客户，而不必通过Director机器。实际应用中，服务器必须拥有正式的IP地址用于与客户机直接通 信，并且所有服务器必须支持IP隧道协议。

图3 LVS/TUN方式的集群简图

这里将所有LVS的配置命令写到一个可执行脚本，脚本内容如下：

将上面的脚本保存为/root/lvs_tun.sh。然后加上可执行属性，执行它：

运行此脚本之后应该出现如下信息：

另外在每台Real Server上还要执行如下的命令：

注意Real Server的内核必须打上修正ARP问题的内核补丁，如Linux2.4.20的内核是hidden-2.4.20pre10-1.diff，编译内核 的方法参见Director机器。

通过本例来简单评价一下LVS/TUN方式。该方式中Director将客户请求分配到不同 的Real Server，Real Server处理请求后直接回应给用户，这样Director就只处理客户机与服务器的一半连接，极大地提高了Director的调度处理能力，使集群系 统能容纳更多的节点数。另外TUN方式中的Real Server可以在任何LAN或WAN上运行，这样可以构筑跨地域的集群，其应对灾难的能力也更强，但是服务器需要为IP封装付出一定的资源开销，而且后 端的Real Server必须是支持IP Tunneling的操作系统。

3.设定LVS/DR方式的负载均衡集群

DR是指Direct Routing，它的转发流程是：Director机器收到外界请求，按相应的调度算法将其直接发送到相应Real Server，Real Server处理完该请求后，将结果数据包直接返回给客户，完成一次负载调度。

构架一个最简单的LVS/DR方式的负载均衡集群如图4所示。

Real Server和Director都在同一个物理网段中，Director的网卡IP是192.168.0.253，再绑定另一个 IP：192.168.0.254作为对外界的virtual IP，外界客户通过该IP来访问整个集群系统。Real Server在lo上绑定IP：192.168.0.254，同时加入相应的路由。

Director端的实现脚本如下：

图4 LVS/DR方式的集群简图

将脚本保存为/root/lvs_dr.sh，加上可执行属性，执行它：

运行此脚本之后可以看到如下信息：

另外每台Real Server上要执行如下命令：

注意Real Server的内核也必须打上修正ARP问题的内核补丁，编译内核的方法参见Director机器。

同样通过本例来简单评价一下LVS/DR方式。LVS/DR方式与前面的LVS/TUN方式 有些类似，前台的Director机器也是只需要接收和调度外界的请求，而不需要负责返回这些请求的反馈结果，所以能够负载更多的Real Server，提高Director的调度处理能力，使集群系统容纳更多的Real Server。但LVS/DR需要改写请求报文的MAC地址，所以所有服务器必须在同一物理网段内。

结束语

其实集群架设到此还不能达到正式应用的要求，至少还需要解决三个问题：

1. 安装监视软件

集群运作时，应当监视集群中所有Real Server的运行情况并对其中的变化作出反应。如果发现Real Server突然down机，需要将其从集群队列中删除，等恢复后再重新加入。mon就是这样一个系统资源监控程序，可以监控网络服务可用性、服务器问题 等。用户可以对其进行定制和扩展。

2. 后台Real Server节点的数据一致性问题和更新方法

比如一个提供Web服务的集群系统，每台服务器的Web资料必须一致，如果对Web资料的内 容进行更新、增加或删除，如何使所有服务器之间数据同步呢？对于这种数据同步问题，一是采用网络镜像，如借用Mirror、FTP等来自行编写脚本进行镜 像；另一种是使用网络文件系统，如coda等。

3. 提高可用性

以上示例中，Director机器只有一台，一旦Director机器down掉，整个集群 也就崩溃了，所以要考虑使用两台机器做一个HA(High-Availability)。比如，配合使用Linux的另一个软件heartbeat来实现 HA。

实际运行中，面对的问题可能不只以上这些，相关内容在此就不再详述，欢迎大家共同探讨。