Eab infra
Sissejuhatus
Käesoleva teksti eesmärgiks on kirjeldada EAP projekti juures toimuvat riistvara, võrgu, operatsioonisüsteemi keskkonna ja rakendustarkvara kasutamist.
Riistvara
Projektis kasutatakse sellist riistavara
- Powerware 5115 UPS
- 2 x S3420GP emaplaadiga Ordi arvutid
- mõlemad arvutid sisaldavad 4 x 2 TB kõvakettaid
- generic kohtvõrgu kommutaator
Tarkvara
Projekti arvutites kasutatakse järgmist tarkvara
- Debian Squeeze v. 6 64bit operatsioonisüsteem
- XEN v. 4 virtualiseerimise tarkvara
- Apache veebiserver
- PostgreSQL andmebaas
- Zabbix monitooringutarkvara
- OpenVPN kaugligipääsu tarkvara
- rsnapshot ja EMC Networker varundustarkvara
- plokkseadmete haldamiseks mdadm ja LVM tarkvara
Võrgutopoloogia
_____
195.80.35.1 | | ülikooli võrguseade
----------------------------------------------|----------------------------------------------| |
| |_____|
| | 172.17.35.1
| 195.80.35.96 |
| 2001:bb8:2002:2300:7231:40ff:fe03:5128 |
_____ __|__ |
| | | | |
| F | | V | |
|_____| at-dom0.ims |_____| fw.ims |
| os: 172.17.35.21 | 172.17.35.18 |
| 2001:bb8:2002:2300:21e:67ff:fe03:c3c0 | 2001:bb8:2002:2300:7221:17ff:fe03:5018 |
| impi: 172.17.35.20 | |
--|-------------------------------|-------------------|-----------------------|-------------------------|------
| |
__|__ __|__
| | | |
| F | | V |
|_____| |_____|
varundus.ims eap.ims
os: 172.17.35.19 172.17.35.22
2001:bb8:2002:2300:21e:67ff:fe03:a0f9 2001:bb8:2002:2300:7221:17ff:fe03:5022
ipmi: 172.17.35.5
kus
- at-dom0.ims - füüsiline virtualiseerimise arvuti
- varundus.ims - füüsiline varunduse arvuti
- fw.ims (fw.ims.ut.ee) - virtuaalne arvuti
- eap.ims - virtuaalne arvuti
Märkused
- Füüsilistel arvutitel on lisaks operatsioonisüsteemi ip aadressile ka füüsilise riistvara kaughalduse ipmi aadress
- Operatsioonisüsteemid omandavad automaatselt oma mac aadresside abil ipv6 aadressid, neid kasutatakse EMC Networkeriga varundamisel
- 172.17.35 võrgu arvutitest 195.80.35.96 poole pöördudes toimub asümmeetriline ruuting (kuna ülikooli võrguseade ei tee 172.17.35 -> 195.80.35.1 nat teisendust)
Riistvara kaughaldus
Riistvaraliste arvutite kaughalduseks kasutatakse IMPI protokolli onboard BMC kontrolliriga suhtlemiseks. Muu hulgas võimaldab see ligipääsu arvuti BIOSile ning virtuaalse järjestikpordi kaudu serial konsoolile (st operatsioonisüsteemile). IPMI kasutamist on kirjeldatud aadressil http://kuutorvaja.eenet.ee/wiki/HP_BladeSystem_c7000_seadmeriiul#IPMI_kasutamine
Plokkseadmete haldamine
Plokkseadmete haldamiseks kasutatakse mdadm ja LVM tarkvara. Mõlemas füüsilises arvutis töötavad neli samade parameetritega kõvaketast on ühendatud RAID massiividesse; RAID ressurssi hallatakse edasi LVM abil kasutamiseks failisüsteemide ja saaleala jaoks. mdadm kasutamist on kirjeldatud aadressil http://www.auul.pri.ee/wiki/Tarkvaralise_mdadm_RAID_kasutamine_operatsioonis%C3%BCsteemiga_Debian_Squeeze ja LVM kasutamist aadressil http://kuutorvaja.eenet.ee/wiki/LVM.
Virtualiseerimine
Efektiivsemaks ja paindlikumaks riistavaralise ressursi kasutamiseks on teenusserverid eap.ims ja fw.ims juurutatud virtuaalsete arvutitena. Neile saab kasutamiseks anda sobiva hulga protsessori, mälu, plokkseadme ja võrguressurssi. Projektis kasutatakse XEN virtualiseerimise tarkvara, mille kasutamist on kirjeldatud nt aadressidel
- http://www.auul.pri.ee/wiki/Xen_ja_Debian_Squeeze
- http://kuutorvaja.eenet.ee/wiki/Unix_keskkonna_administreerimine#Virtualiseerimine
XEN host
XEN hostile vastav operatsioonisüsteemi eksemplar töötab füüsilisel riistvaral ja selle seest tõimub virtuaalsete arvutite juhtimine. Kui välja arvata XEN hosti alglaaduri seadistused ja mõned virtualiseerimisega seotud protsessid on tegu tavalise Debian Squeeze operatsioonisüsteemiga.
XEN guest
XEN guestid on virtuaalsed operatsioonisüsteemid, mis töötavad XEN hosti kontrolli all ja mis kasutavad XEN hostist neile eraldatud ressursse.
at-dom0 host
mdadm kasutamine
Neli füüsilist kõvaketast on partitsioneeritud sarnaselt
root@at-dom0:~# parted /dev/sda p Model: ATA WDC WD2003FYYS-0 (scsi) Disk /dev/sda: 2000GB Sector size (logical/physical): 512B/512B Partition Table: msdos Number Start End Size Type File system Flags 1 1049kB 269MB 268MB primary ext3 boot 2 269MB 69.0GB 68.7GB primary 3 69.0GB 1169GB 1100GB primary
mdadm abil on
- kõigi kõvaketaste esimesed partitsioonid ühendatud /dev/md/boot raid1 lülitusse (at-dom0 operatsioonisüsteemi jaoks)
- kõigi kõvaketaste teised partitsioonid ühendatud /dev/md/system raid5 lülitusse (at-dom0 operatsioonisüsteemi jaoks)
- kõigi kõvaketaste teised partitsioonid ühendatud /dev/md/data raid5 lülitusse (virtuaalsete arvutite jaoks)
LVM kasutamine
at-dom0 enda operatsioonisüsteemi jaoks kasutuses sellised plokkseadmed
- /boot - /dev/md/boot (mdadm ressurss)
- / - /dev/system/root (LVM ressurss)
at-dom0.ims arvutil töötavad kaks virtuaalset arvutit
Võrgu kasutamine
Kaks arvuti võrgukaarti on kasutusel selliselt
- peth0 - esimene füüsiline võrgukaart
- peth1 - teine füüsiline võrgukaart
- eth0 - esimest füüsilist võrgukaarti sisaldav sild (fiktiivne aadress 10.101.101.21)
- eth1 - teist füüsilist võrgukaarti sisaldav sild (172.17.35.21)
- vaikelüüs 172.17.35.1
eap.ims guest
eap.ims kasutab selliseid hosti ressursse
Plokkseade
/dev/data/eap_root /dev/data/eap_home /dev/data/eap_data_backup /dev/data/eap_data_postgresql /dev/data/eap_swap
Võrk
guesti seade eth0 (172.17.35.22) on muu võrguga ühenduses hosti eth1 silla kaudu
Põhiline eap.ims arvutis töötav rakendustarkvara on PostgreSQL v. 9.0 andmebaas
/etc/postgresql/9.0/main - seadistusfailid /var/log/postgresql - logi /data/postgresql (ehk /var/lib/postgresql/9.0/main) - andmeklaster /data/backup/postgresql/archive-logs - wal logid
PostgreSQL andmebaasi kasutamist on kirjeldatud aadressil http://www.auul.pri.ee/wiki/PostgreSQL.
eap.ims arvutile no külge monteeritud sellised failisüsteemid üle võrgu
fw.ims:/home -> /home (NFS) //172.17.35.222/eap4space -> /opt/postgres/eap4space (CIFS)
fw.ims guest
fw.ims kasutab selliseid hosti ressursse
Plokkseade
/dev/data/fw_root /dev/data/fw_home /dev/data/fw_data_backup /dev/data/fw_data_postgresql /dev/data/fw_swap
Võrk
guesti seade eth0 (193.40.35.96) on muu võrguga ühenduses hosti eth0 silla kaudu guesti seade eth1 (172.17.35.18) on muu võrguga ühenduses hosti eth1 silla kaudu
Peamised fw.ims arvutis töötavad rakendusprogrammid on
- PostgreSQL v. 9.0 andmebaas
/etc/postgresql/9.0/main - seadistusfailid /var/log/postgresql - logi /data/postgresql (ehk /var/lib/postgresql/9.0/main) - andmeklaster /data/backup/postgresql/archive-logs - wal logi
- Apache veebiserver
/etc/apache2 - seadistusfailid /var/log/apache2 - logid
- NFS failiserver, mis jagab /home kataloogi eap.ims arvutisse
- fw.ims arvutile on külge ühendatud sellised CIFS failisüsteemid üle võrgu
//172.17.35.14/Data -> /opt/postgres/Pardata //172.17.35.222/Users/Hitachi/Desktop/Pildid -> /opt/postgres/Sempildid //172.17.35.222/eap4space -> /opt/postgres/eap4space
varundus.ims
mdadm kasutamine
Neli füüsilist kõvaketast on partitsioneeritud sarnaselt
root@varundus:~# parted /dev/sda p Model: ATA WDC WD2003FYYS-0 (scsi) Disk /dev/sda: 2000GB Sector size (logical/physical): 512B/512B Partition Table: msdos Number Start End Size Type File system Flags 1 1049kB 269MB 268MB primary ext3 boot 2 269MB 2000GB 2000GB primary
mdadm abil on
- kõigi kõvaketaste esimesed partitsioonid ühendatud /dev/md/boot raid1 lülitusse
- kõigi kõvaketaste teised partitsioonid ühendatud /dev/md/system raid5 lülitusse
LVM kasutamine
varundus arvutis kasutuses sellised plokkseadmed
- /boot - /dev/md/boot (mdadm ressurss)
- / - /dev/system/root (LVM ressurss)
- /srv/backup - /dev/system/backup (LVM ressurss)
Võrgu kasutamine
Kaks arvuti võrgukaarti on kasutusel selliselt
- eth0 - 172.17.35.19
- vaikelüüs 172.17.35.1
rsnapshot kasutamine
rsnapshot tarkvara tööd juhib seadistusfail /etc/rsnapshot.conf ja varundatud andmed asuvad kataloogis /srv/backup/rsnapshot avutite nimelistes kataloogides. Üldiselt varundatakse kõiki failisüsteeme välja arvatud mõned kataloogid
/dev /proc /tmp /sys /mnt
Varundatud andmeid roteeritakse selliselt, et säilitatakse seisud
* viimased 28 päeva * viimased 12 nädalat * viimased 24 kuud
rsnapshot tarkvara kasutamist on kirjeldatud aadressil http://www.auul.pri.ee/wiki/Rsnapshot.
Full backup: kord nädalas nublu.chem.ut.ee 2-le eraldi kõvakettale (mitteredundantsed), säilitatakse 4-5 viimast täiskoopiat.
Full backupi ligikaudne maht (24.01.2011): 35 GB
Iga päeva WAL logid (säilitatakse kahe full backupi vahel tekkinud WAL logid (nädala WAL logide ligikaudne maht (24.01.2011): 18 GB
Tarmo virtuaalserverist hetkel backuppi ei tehta.
Monitooring
Monitooringuks kasutatakse Zabbix tarkvara, igasse operatsioonisüsteemi on paigaldatud Zabbix agent, mida juhib seadistusfail /etc/zabbix/zabbix_agentd.conf. Zabbix server asub eemal, aadressil 84.50.96.138 ja pöördub monitooritavate poole kahel viisil
- üle ülikooli OpenVPN võrgu otse kõigi operatsioonisüsteemide poole, et monitoorida süsteemi üldisi omadusi (failisüsteemide täituvus, cpu load jne)
- üle ülikooli OpenVPN võrgu otse mõlema füüsilise arvuti poole üle IPMI liidese, et monitoorida füüsilise riistvara omadusi (nt emaplaadi temperatuur)
- üle avaliku võrgu, et monitoorida http://fw.ims.ut.ee/ veebikoha kättesaadavust
Zabbix tarkvara kasutamist on kirjeldatud aadressil http://www.auul.pri.ee/wiki/Zabbix_kasutamine_Debian_operatsioonis%C3%BCsteemiga.