[转]基于LVS的互联网应用

varsoft

浏览: 2439093 次
性别:
来自: 上海

最近访客更多访客>>

wangyy

u012363178

songhait

骑驴找骆驼

博主相关

博客

微博

相册

留言

关于我

文章分类

全部博客 (3320)

社区版块

存档分类

互联网网络应用应用服务器 Linux 脚本

基于LVS的互联网应用

作者:田逸（sery@163.com） from:http://server.it168.com/server/2007-12-11/200712110855723.shtml<?xml:namespace prefix = o />

在前面的文章里，我做了一个“可扩展、高可用服务网络设计方案”，现在我们来说明怎样实现它的技术细节。

网络环境

1、硬件：服务器、网络附属存储（NAS）和交换机。3个服务器用来做web,2个服务器

来做流媒体，1个服务器做LVS-DR,2个mysql服务器，一个邮件服务器，2个交换机，一个NETAPP NAS。

2、运行环境：流媒体windows,其他的都是linux。

逻辑结构：除数据库服务器和NETAPP存储外，其他的服务器都使用2个网络地址，一个公网地址和一个私有网络地址。设置为公网ip的网络接口连接在一个交换机，设置为私有网络ip的网络接另外一个交换机，处于安全和网络带宽考虑，网络存储设备和数据库只使用私有网络地址。网络拓扑图如下所示：

基本原理：

传统模式下，用户的访问请求通过DNS服务器解析后，把服务请求转发给web服务器，取得数据后返回给用户。这种模式有2个麻烦：同时访问的用户增加到某个程度后，服务器不能提供所需的正常访问；遇到故障，所有的访问请求都将失败。要解决这样一个难题,LVS是上上之选。当我们采用lvs方案之后，更改dns服务器的记录，这样用户的访问将首先到达LVS控制器所在的服务器，LVS把请求按照某种算法转发给后面真正的服务器。那么数据的返还是怎样的一个过程呢？在采用DR方式的集群形式下，真实服务器直接把数据返还给用户而不再经过LVS控制器。访问数据的流向在上图中用带箭头的虚线标识出来了，这样设计使得结构更简单一些，lvs控制器的压力也小很多。

根据应用的实际情况考虑，本项目采用LVS/DR方式。

技术实现：

先列出个相关服务器的ip地址：

名称	Ip地址
真实ip地址(RIP)
LVS/DR(控制器)	61.135.55.100/24
RealServer1（Web1）	61.135.55.150/24	192.168.55.150/24
RealServer2（Web2）	61.135.55.151/24	192.168.55.151/24
RealServer3（Web3）	61.135.55.152/24	192.168.55.152/24
RealServer4 （流媒体1）	61.135.55.153/24	192.168.55.153/24
RealServer5 (流媒体2 )	61.135.55.154/24	192.168.55.154/24
MysqlServer1		192.168.55.90/24
MysqlServer2		192.168.55.91/24
Netapp(网络共享存储)		192.168.55.92/24
虚拟ip地址（VIP）
Web虚拟地址（VIP1）	61.135.55.160
流媒体虚拟地址（VIP2）	61.135.55.161

一、修改DNS记录。

www IN A 61.135.55.160

media IN A 61.135.55.161

修改bind完成后测试一下，看是否被正确的解析。注意：主机记录应该解析到虚拟地址。

二、配置LVS/DR。

LVS/DR主要由控制器和真实服务器2部分构成，需要在控制器和真实服务器上做好配置才能提供正常的服务，下面分步来说明。

安装控制器部分：安装好系统（我用的是centos 5）,指定ip地址61.135.55.100/24，关闭不必要的系统/网络服务（执行ntsysv用上下键和空白键来完成）。实现LVS/DR最重要的两个东西是ipvs内核模块和ipvsadm工具包，幸运的是，当前的发行版已经包含ipvs内核模块，不必再像旧的内核版本需要打这个补丁，ipvsadm需要从网上下载安装，下面总结一下这个过程：

1、检查内核模块，看ipvs模块是否被加载

上图实现，ipvs模块没有被加载，可以手动加载，当然这不是必需的（当安装好ipvsadm包后，执行ipvsadm命令就会把ip_vs加载到系统内核）。执行命令 modprobe ip_vs 就可以把ip_vs模块加载到内核。现在再执行 lsmod –l | grep ip_vs 应该看见ip_vs模块被列出。

2、安装ipvsadm。Ipvsadm的官方下载地址为 http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.24.tar.gz ，解压后先做一个链接文件,把目录/usr/src/kernels/<?xml:namespace prefix = st1 /><chsdate isrocdate="False" islunardate="False" day="30" month="12" year="1899" w:st="on">2.6.18</chsdate>-8.el5-i686/ 链接为/usr/src/linux,不这样做的话，执行./configure脚本将报错。运行命令 ln –s /usr/src/kernels/2.6.18-8.el5-i686 /usr/src/linux 做好链接，再运行不带参数的脚本 ./configure，然后执行”make;make install”完成安装

（二）控制器配置：既可以使用脚本也可以更改系统的配置文件 /etc/sysconfig/ipvsadm。在实际应用中，我建议用脚本，这样的话，维护和移植lvs会很方便。下面给出本案使用的lvs/dr脚本：

[root@mysql2 ~]# more /usr/local/bin/lvsdr

#!/bin/bash

RIP1=61.135.55.150

RIP2=61.135.55.151

RIP3=61.135.55.152

VIP1=61.135.55.160

VIP2=61.135.55.161

/etc/rc.d/init.d/functions

case "$1" in

start)

echo " start LVS of DirectorServer"

# set the Virtual IP Address and sysctl parameter

/sbin/ifconfig eth0:0 $VIP1 broadcast $VIP1 netmask 255.255.255.255 up

/sbin/ifconfig eth0:1 $VIP2 broadcast $VIP2 netmask 255.255.255.255 up

/sbin/route add -host $VIP1 dev eth0:0

/sbin/route add -host $VIP2 dev eth0:1

echo "1" >/proc/sys/net/ipv4/ip_forward

#Clear IPVS table

/sbin/ipvsadm -C

#set LVS

#Web Apache

/sbin/ipvsadm -A -t $VIP1:80 -s wlc -p 120

/sbin/ipvsadm -a -t $VIP1:80 -r $RIP1:80 -g

/sbin/ipvsadm -a -t $VIP1:80 -r $RIP2:80 -g

/sbin/ipvsadm -a -t $VIP1:80 -r $RIP3:80 -g

#Media (mms)

/sbin/ipvsadm -A -t $VIP2:1755 -s rr -p 3600

/sbin/ipvsadm -a -t $VIP2:1755 -r $RIP3:1755 -g

/sbin/ipvsadm -a -t $VIP2:1755 -r $RIP4:1755 -g

/sbin/ipvsadm -A -t $VIP2:554 -s rr -p 3600

/sbin/ipvsadm -a -t $VIP2:554 -r $RIP3:554 –g

/sbin/ipvsadm -a -t $VIP2:554 -r $RIP4:554 –g

#Run LVS

/sbin/ipvsadm

;;

stop)

echo "close LVS Directorserver"

echo "0" >/proc/sys/net/ipv4/ip_forward

/sbin/ipvsadm -C

/sbin/ifconfig eth0:0 down

/sbin/ifconfig eth0:1 down

;;

echo "Usage: $0 {start|stop}"

exit 1

esac

.RIP1=61.135.55.150到RIP3=61.135.55.152定义3个真实服务器的ip地址。

.VIP1=61.135.55.160，VIP2=61.135.55.161定义2个虚拟ip地址，一个作web服务的虚拟地址，一个做流媒体服务的虚拟地址。

. /etc/rc.d/init.d/functions,执行这个系统脚本，以取得运行其他脚本所需的环境和参数。

.case语句是一个多路选择，本脚本给出3个：start,stop及*,3选1。$1表示脚本带一个参数。

. /sbin/ifconfig eth0:0 $VIP1 broadcast $VIP1 netmask 255.255.255.255 up把web服务所需的ip地址（虚拟地址）绑定在辅助接口eth0:0。在LVS方案中，虚拟ip地址与普通网络接口大大不同，这点需要特别注意。虚拟ip地址的广播地址是它本身，子网掩码是255.255.255.255。为什么要这样呢？因为有若干机器要使用同一个ip地址，用本身做广播地址和把子网掩码设成4个255就不会造成ip地址冲突了，否则lvs将不能正常转发访问请求。

. /sbin/route add -host $VIP1 dev eth0:0添加主机路由，这2条可有可无，较新的linux发行版能正确路由这个主机地址。

. echo "1" >/proc/sys/net/ipv4/ip_forward启用ip转发功能。

. /sbin/ipvsadm –C清空ipvs转发表。

. /sbin/ipvsadm -A -t $VIP1:80 -s wlc -p 120 添加一个虚拟服务，服务协议是tcp(-t)；服务类型是web（$VIP1:80）；-s 表示采用wlc这种调度算法转发数据包（调度算法包括：rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq）；-p表示连接的持续时间为120秒，这个会话时间是根据实际情况调整的，如果这个值设置得不合理，用户将得到非常糟糕的访问效果。下面举例简单说明一下

从上图我们可以看出，随着时间的变化，用户的请求将可能被lvs转发到不同的服务器，而那些需要保持会话的请求将被丢失，导致访问不能进行。

. /sbin/ipvsadm -a -t $VIP1:80 -r $RIP1:80 –g 以直接路由的方式把请求转发到LVS后面的真实服务器。我曾企图把web（80端口）请求转发到真实服务器的其他端口（如8000），但不能如愿。

余下的行参照上面的解释，理解起来应该不是问题，因此不再一一说明。脚本写好后，把它放在目录/usr/local/bin,然后授与执行权限（chmod 700 /usr/local/bin/lvsdr），运行这个脚本，LVS/DR控制器部分就算配置好了。如果脚本不能正常运行，多半情况是脚本书写错误所致，如在windows用写字板写脚本再拷贝到linux,或者写丢了某个“;”等等。不管真实服务器端是否正确设置lvs,LVS/DR控制器都能独个运行。有2个方法检验LVS/DR是否正常运行了：（1）查看内核是否列出ip_vs模块；（2）直接运行ipvsadm –l看输出是否有转发规则。

（三）真实服务器配置虚拟ip地址。LVS可以把服务请求转发到各种各样的操作系统，在本案中有2种操作系统：centos和windows 2003 server。其他unix的处理跟centos(一种linux发行版)相似。

（1） centos服务器设置虚拟服务器：与LVS/DR控制类似，既可以修改配置文件也可以用脚本，相对来讲，还是脚本方便，下面是某个服务器设置虚拟ip地址的脚本：

[root@WEB2 ~]# more /usr/local/bin/lvs

#!/bin/bash

#description:start realserver

#chkconfig 235 26 26

VIP1=220.194.55.160

/etc/rc.d/init.d/functions

case "$1" in

start)

echo " start LVS of REALServer"

/sbin/ifconfig lo:0 $VIP1 broadcast $VIP1 netmask 255.255.255.255 up

echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore

echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce

echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore

echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

;;

stop)

/sbin/ifconfig lo:0 down

echo "close LVS Directorserver"

echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore

echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce

echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore

echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce

;;

echo "Usage: $0 {start|stop}"

exit 1

esac

. /sbin/ifconfig lo:0 $VIP1 broadcast $VIP1 netmask 255.255.255.255 up 跟LVS/DR控制器一样，广播地址设置为虚拟地址本身，子网掩码4个255，不同的是，虚拟ip地址被绑定在环回（loopback）子接口，而不是物理接口的子接口。

. echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore 一共四行，其目的是关闭arp响应。

（2）windows服务器设置虚拟地址。windows下设置子网掩码为255.255.255.255比linux设置要麻烦些。要想在网上邻居本地连接的tcp/ip属性设置4个255掩码是不能得逞的，唯一的办法是修改注册表。默认状况下，windows并没有环回接口存在，配置之前得先安装这个“设备”。接下来介绍一下环回接口设置步骤：

①控制面板点击添加新硬件

选“网络适配器”，按“下一步”，选“Microsoft”及“Microsoft Loopback Adapter”

点击下一步安装好loopback adapter.。

②设置loopback的tcp/ip参数值。

先设置ip，把子网掩码设置成255.255.255.0。

设置ip地址的目的是方便在注册表中搜索loopback设置子网掩码的位置，我们用设置的虚拟ip地址做搜索关键字，很快就找到位置了。

搜索“61.135.<chmetcnv w:st="on" tcsc="0" numbertype="1" negative="False" hasspace="False" sourcevalue="55.16" unitname="”">55.160”</chmetcnv>

<chmetcnv w:st="on" tcsc="0" numbertype="1" negative="False" hasspace="False" sourcevalue="55.16" unitname="”"> <div class="MsoNormal" style="MARGIN: 0cm 0cm 0pt"> </div> <div class="MsoNormal" style="MARGIN: 0cm 0cm 0pt"> 找到ip地址“61.135.<chmetcnv w:st="on" tcsc="0" numbertype="1" negative="False" hasspace="False" sourcevalue="55.16" unitname="”">55.160”</chmetcnv>所在的位置，在这个项的下方，有个 </div> <div class="MsoNormal" style="MARGIN: 0cm 0cm 0pt"> 项“SubnetMask”，它的值为255.255.255.0. </div> <div class="MsoNormal" style="MARGIN: 0cm 0cm 0pt"> </div> <div class="MsoNormal" style="MARGIN: 0cm 0cm 0pt"><img onclick='window.open("http://blog.51cto.com/viewpic.php?refimg=" + this.src)' alt="" src="http://blog.51cto.com/attachment/200712/200712121197429092542.jpg" border="0"></div> <div class="MsoNormal" style="MARGIN: 0cm 0cm 0pt"> </div> <div class="MsoNormal" style="MARGIN: 0cm 0cm 0pt"> 把其修改为255.255.255.255,但不幸的是，windows 2003 server 的注册表修改编辑方式是2进制，修改时需要技巧。在windows xp的注册表编辑器上修改好，然后转换到2进制方式，windows 2003 server 对照这个值更改即可。 </div> <div class="MsoNormal" style="MARGIN: 0cm 0cm 0pt"> </div> <di

分享到：