【IT168 服务器学院】Solaris VCS(Veritas Cluster Server 3.5)配置入门篇

　　VCS集群环境配置实例（入门篇）
　　
　　1、系统配置目标
　　2、基本的硬件环境
　　3、硬件连接及配置要求
　　4、安装操作系统及补丁的安装过程
　　5、开始安装Raid Manager 6.22.1
　　6、开始安装vxvm 3.5
　　7、安装oracle数据库
　　8、安装VCS软件
　　9、安装Veritas Cluster Oracle agent
　　10、修改相关的配置文件
　　11、附录
　　
　　***********************
　　1、系统配置目标
　　***********************
　　两个系统跑一个服务（分oracle），能够自动切换或者手动
　　
　　***********************
　　2、硬件环境和软件介质
　　***********************
　　硬件：
　　Ultra 10主机两台，配置相同，其每台的详细配置如下：
　　1、CPU(US-IIi 333MHz)，内存（512MB），本地硬盘20GB 各1块，
　　2、双通道差分卡各1块；非集成网卡各2块
　　3、网线，光纤线，电源线若干
　　A1000磁盘阵列（内置若干硬盘）1个
　　软件准备：
　　Solaris 8 for SPARC(4 disks)（安装介质）
　　8_Recommended.zip(patch)（sunsolve.sun.com上下载）
　　Veritas Cluster Server 3.5安装介质
　　Veritas Volume Manager 3.5安装介质
　　Oracle 8.1.7.0.0安装光盘2张
　　SUN Raid Manager 6.22.1
　　
　　***********************
　　3、硬件连接及配置要求
　　***********************
　　连接A1000、Ultra 10主机的基本电源线、鼠标、键盘等基本外设
　　网线的链接要求：两台主机的心跳线直接用交叉线直连；服务网卡用cross-over网线连接到switch
　　从A1000上的两个SCSI接口分别连接到2个主机的差分SCSI卡上
　　修改1#机的差分卡的scsi id。
　　其方法是：
　　开1#机进入OBP，按键盘的(stop+a)或者用串口线连上的(ctrl + pause)
　　OK show-devs
　　找到差分卡所对于的物理路径以备后用
　　OK nvedit输入如下内容
　　probe-all
　　cd /pci@1f,0/pci@1/scsi@3,1
　　6 " scsi-initiator-id" integer-property
　　device-end
　　cd /pci@1f,0/pci@1/scsi@3
　　6 " scsi-initiator-id" integer-property
　　device-end
　　install-console
　　banner
　　输入结束后按ctrl+c
　　OK nvstore
　　ok setenv use-nvramrc? True
　　ok setenv auto-boot? True
　　ok reset-all
　　
　　重启之后再次进入OK状态下进行验证
　　OK select /pci@1f,0/pci@1/scsi@3,1
　　OK .property
　　OK show-children
　　
　　OK reset -all
　　
　　***********************
　　4、操作系统的配置过程
　　***********************
　　安装步骤：
　　1、分别安装系统，基本配置如下：
　　1#机
　　语言：English
　　主机名 ha1
　　网络设备：hme0
　　IP地址 192.168.0.41
　　子网掩码255.255.255.0
　　安装模式：Entire Distribution plus OEM 64-support
　　
　　2#机
　　语言：English
　　主机名 ha2
　　网络设备：hme0
　　IP地址 192.168.0.42
　　子网掩码255.255.255.0
　　安装模式：Entire Distribution plus OEM 64-support
　　
　　
　　在两个系统同时进行如下操作：
　　# cd /etc/;touch hostname.hme1 hostname.hme2
　　# cd /tmp
　　# unzip 8_recommended.zip
　　# cd /8_Recommended
　　# ./install_cluster
　　# reboot
　　注：每个系统盘上都留出一个小的slice(c0t0d0s7)来做rootdg
　　
　　***********************
　　6、开始安装Raid Manager
　　***********************
　　进入介质所在的目录，安装如下软件包
　　# pkgadd -d . SUNWosafw SUNWosamn SUNWosanv SUNWosar SUNWoasu
　　修改/etc/profile文件修改路径
　　PATH=$PATH:/usr/lib/osa/bin
　　保存退出，重登陆
　　运行rm6图形窗口,建mirror的卷1个
　　在两台机器分别运行认盘操作：
　　# drvconfig -c disk && disks && devlinks
　　# format进行确认
　　
　　***********************
　　7、开始安装vxvm 3.5
　　***********************
　　在1#机上作。
　　首先创建rootdg
　　# vxlicense –c
　　# vxconfigd –m disable
　　# vxdctl init
　　# vxdctl init rootdg
　　# vxdg init rootdg
　　# vxdctl add disk c0t0d0s7 type=simple
　　# vxdisk –f init c0t0d0s7 type=simple
　　# vxdg adddisk c0t0d0s7
　　# vxdctl enable
　　# rm /etc/vx/reconfig.d/state.d/install-db
　　然后创建数据卷
　　# vxdiskadd c1t0d0 c2t0d0
　　安装提示创建一个oradg，然后把两个A1000互为镜像
　　# vxassist -g oradg make oravol 100g layout=mirror,log
　　# newfs /dev/vx/dsk/oradg/oravol
　　
　　调整块设备的major、minor点。在两边分别作对比
　　# ls -lL /dev/vx/dsk/oradg/oravol
　　如果有差异请用haremajor调整，（调整之后要求两边的显示完全一样，如果不作nfs用，那么应该是无所谓的）
　　# haremajor -vx 250 6000
　　参考文件: /etc/name_to_major，
　　
　　***********************
　　8、开始安装oracle
　　***********************
　　在1#机上创建oracle用户和用户组
　　# groupadd -g 100 dba
　　把共享卷挂接到/oracle下面
　　# mount /dev/vx/dsk/oradg/oravol /oracle
　　# useradd -g dba -d /oracle/app -m -s /usr/bin/csh ora
　　# passwd ora
　　与此同时把1#机中的/etc/group、/etc/passwd、/etc/shadow中新增的行目添加到2#机中（主要是与新增的用户组和用户有关）
　　修改系统内核参数/etc/system，追加如下几行：
　　set shmsys:shminfo_shmmax=536870912
　　set shmsys:shminfo_shmmin=1
　　set shmsys:shminfo_shmmni=100
　　set shmsys:shminfo_shmseg=100
　　set semsys:seminfo_semmni=100
　　set semsys:seminfo_semmsl=100
　　set semsys:seminfo_semmns=200
　　set semsys:seminfo_semopm=100
　　set semsys:seminfo_semvmx=32767
　　
　　修改用户变量文件/oracle/app/.cshrc，使其内容如下：
　　setenv ORACLE_BASE /oracle/app
　　setenv ORACLE_HOME /oracle/app/product/8.1.7
　　setenv ORACLE_TERM xsun5
　　setenv LD_LIBRARY_PATH $ORACLE_HOME/lib:/usr/openwin/lib:/usr/dt/lib
　　setenv CLASSPATH .:/oracle/app/product/8.1.7/jdbc/lib/classes111.zip:/oracle/
app/product/8.1.7/jdbc/lib/nls_charset11.zip
　　:/export/home/oracle/trade_prog
　　setenv PATH .:/export/home/oracle/trade_prog:/bin:/usr/openwin/bin:/
usr/bin:/usr/ucb:/usr/local/bin:
　　/oracle/app/8.1.7/product/bin
　　setenv NLS_LANG AMERICAN_AMERICA.ZHS16CGB231280
　　setenv NLS_LANG=SIMPLIFIED CHINESE_CHINA.ZHS16GBK
　　setenv ORACLE_SID orcl
　　setenv DISPLAY 192.168.0.190:0.0
　　保存退出，以ora用户登陆系统开始安装
　　插入安装光盘
　　# cd /cdrom/cdrom0;./runInstaller
　　安装提示安装即可；注意建库一点要放在共享卷组上！
　　安装结束后修改监听文件listener.ora、tnsname.ora
　　# cd /oracle/app/product/8.1.7/network/admin
　　把这两个文件的ip改为服务ip：192.168.0.43（该IP作为服务IP）
　　
　　***********************
　　9、开始安装vcs
　　***********************
　　在1#机上创建一个/.rhosts文件，其中包括ha2关键字
　　在2#机上创建一个/.rhosts文件，其中包括ha1关键字
　　修改/etc/inet/hosts文件，在1#、2#机上分别添加如下两行：
　　192.168.0.42 ha2
　　192.168.0.41 ha1
　　装入vcs介质，开始激动人心的安装过程
　　# cd /cdrom/cdrom0/cluster_server
　　# ./installvcs
　　安装提示安装即可，不过有如下要求：
　　vcs server name: newvcs
　　systems: ha1 ha2
　　心跳网卡: hme1 hme2
　　不安装cluster_manager、不安装Web Cluster Manager、不安装SNMP
　　安装结束之后，确认系统正常：
　　# /opt/VRTSvcs/bin/lltstat -n
　　# /opt/VRTSvcs/bin/gabconfig -a
　　# hastatus -summary
　　
　　***********************
　　10、安装Veritas Cluster Oracle agent
　　***********************
　　插入VERITAS SOLUTION cd6
　　# cd /cdrom/cdrom0/oracle_agent
　　# pkgadd -d . VRTSvcsor
　　该操作在两台机器上分别进行
　　
　　***********************
　　11、配置双机相应的文件
　　***********************
　　为了节省时间，简化操作，下面我采用的是直接修改配置文件进行配置。
　　在1#机进行如下操作
　　# hastop -all -force
　　# cd /etc/VRTSvcs/conf/config
　　# cp ../sample_oracle/* .
　　# 修改main.cf文件为：
　　include "types.cf"
　　include "OracleTypes.cf"
　　
　　cluster shared (
　　UserNames = { adm = "rLlzxjF.KVQnI" }
　　CounterInterval = 5
　　)
　　
　　system ha1 (
　　)
　　
　　system ha2 (
　　)
　　
　　group groupy (
　　SystemList = { ha1 = 0, ha2 = 1 }
　　AutoStartList = { ha1 }
　　Administrators = { adm }
　　)
　　
　　DiskGroup groupydg (
　　DiskGroup = sharedg
　　)
　　
　　IP nfssrvy (
　　Device = hme0
　　Address = "192.168.0.43"
　　)
　　
　　Mount export3 (
　　MountPoint = "/oracle"
　　BlockDevice = "/dev/vx/dsk/sharedg/oravol"
　　FSType = ufs
　　MountOpt = rw
　　FsckOpt = "-y"
　　)
　　
　　NIC groupy_hme0 (
　　Device = hme0
　　NetworkType = ether
　　)
　　
　　Oracle oragrp_VRT (
　　Sid = cnc1
　　Owner = ora
　　Home = "/oracle/app/product/8.1.7"
　　Pfile = "/oracle/app/product/8.1.7/dbs/initcnc1.ora"
　　User = "system"
　　Pword = manager
　　MonScript = "./bin/Oracle/SqlTest.pl"
　　EnvFile = "/opt/VRTSvcs/bin/oracle/envfile"
　　)
　　
　　Sqlnet oragrp_LISTENER (
　　Owner = ora
　　Home = "/oracle/app/product/8.1.7"
　　TnsAdmin = "/oracle/app/product/8.1.7/network/admin"
　　Listener = LISTENER
　　MonScript = "./bin/Sqlnet/LsnrTest.pl"
　　EnvFile = "/opt/VRTSvcs/bin/oracle/envfile"
　　)
　　
　　Volume groupydg_vol3 (
　　Volume = oravol
　　DiskGroup = sharedg
　　)
　　
　　export3 requires groupydg_vol3
　　groupydg_vol3 requires groupydg
　　nfssrvy requires groupy_hme0
　　oragrp_LISTENER requires nfssrvy
　　oragrp_LISTENER requires oragrp_VRT
　　oragrp_VRT requires export3
　　oragrp_VRT requires groupydg_vol3
　　
　　# hacf -verify /etc/VRTSvcs/conf/config/
　　如果没有返回错误可以继续进行
　　# rlogin ha2
　　# cd /etc/VRTSvcs/conf/config/; rm * ; rcp ha1:/etc/VRTSvcs/conf/config/* . ;reboot
　　退到ha1上面，也同时进行重启操作
　　
　　重启结束后再次进入1#机
　　# haconf -makerw
　　# haconf -dump -makero
　　# hastatus -summary
　　
　　***********************
　　12、附录
　　***********************
　　参考文献为：
　　<Oracle 8.1.7 Install Guide>
　　<Raid Manager install guide>
　　<raid manager user guide>
　　<Veritas volume manager install guide>
　　<Veritas volume manager user guide>
　　<Veritas Cluster server install guide>
　　<Veritas Cluster server user guide>
　　<Veritas bunlded agent reference guide>
　　
　　比较容易犯的错误
　　1、scsi id没有修改
　　如果不修改，那么其中一台机器重启，将会使阵列上的卷在另一台机器上的lun被reset，因为两块卡的scsi冲突。
　　2、数据库的监听没有修改为浮动IP，导致监听启动不起来。