阅读 163

大数据平台使用搭建脚本一键安装OS

本文给大家分享的是如何在大数据平台使用脚本来实现一键安装定制OS,并给大家附上了脚本源码,有需要的小伙伴可以参考下

搭建脚本篇

脚本命名随便,只要能看懂就行

镜像包说明

os1.1.iso 用于安装服务端和客户端操作系统

hdp.iso 用于安装hdp服务

1.架构图:

服务端

客户端




2.原理分析

安装系统-安装本地yum源-安装http源-安装并配置ntp服务-配置秘钥-安装jdk-安装mysql-编译安装ambari平台


3.服务端脚本分析

(1)create_local_yum.sh #安装本地yum 源

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
#!/bin/bash
iso_path=/dev/sr0
echo "Iso file path is :" /dev/sr0
yum_path=/mnt/vrv/
echo 'Creating mount directory :' /mnt/vrv/
mkdir -p /mnt/vrv/
mount /dev/sr0 /mnt/vrv
echo 'Updating /etc/yum.repos.d/ files...'
rm -rf /etc/yum.repos.d/*
touch /etc/yum.repos.d/vrv.repo
echo "
[vrv-local]
name=vrv-local
baseurl=file:///mnt/vrv/
gpgcheck=0
enabled=1
" >> /etc/yum.repos.d/vrv.repo
yum clean all && echo 'yum repository has been updated!'
host_ip=`/sbin/ifconfig -a|grep inet|grep -v 127.0.0.1|grep -v inet6|awk '{print $2}'|tr -d "addr:"`
echo "$host_ip os-manager" >>/usr/bin/os/hosts
#echo "$host_ip os-manager" >>/etc/hosts

(2)update_master.sh #安装http源,配置主节点,配置ntp

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
#!/bin/bash
#往本机/etc/hosts添加hosts文件内容#############
#cat hosts  >> /etc/hosts;
#echo "添加hosts到/etc/hosts文件完成";
host_ip=`/sbin/ifconfig -a|grep inet|grep -v 127.0.0.1|grep -v inet6|awk '{print $2}'|tr -d "addr:"`
suffix_ip=${host_ip%.*}
suffix_ip=${suffix_ip%.*}
cd /mnt/vrv/Packages/
#rpm -ivh python-deltarpm-3.5-0.5.20090913git.el6.x86_64.rpm
yum -y install mkisofs vim httpd createrepo perl python bind-utils openssh-clients ntp vim wget unzip bind && chkconfig httpd on && mkdir -p /var/www/html/centos && mkdir -p /var/www/html/centos/Packages/Packages && mkdir -p  /var/www/html/ambari/ && mkdir -p /var/www/html/vmp-extend/ && echo "拷贝文件中..." && cp -rf /mnt/vrv/Packages//var/www/html/centos/Packages/Packages/ && echo "拷贝文件完成,生成源中..." && createrepo /var/www/html/centos/Packages/Packages/ && rm -rf /etc/yum.repos.d/* && echo "http源拷贝完成,更新yum..."
cp -rf /mnt/vrv/system//var/www/html/
touch /etc/yum.repos.d/vrv-http.repo
echo "
[vrv-http]
name=vrv-http
baseurl=http://$host_ip/centos/Packages/Packages
gpgcheck=0
enabled=1
" >> /etc/yum.repos.d/vrv-http.repo
service httpd restart && chkconfig httpd on && yum clean all
echo "http 源已经配置完成"
echo "开始配置dns..."
echo "开始配置ntp..."
chkconfig ntpd on 
#cp ntp.conf /etc/ntp.conf 
# 写入ntp.conf文件
echo "
driftfile /var/lib/ntp/drift
restrict default kod nomodify notrap nopeer noquery
restrict -6 default kod nomodify notrap nopeer noquery
 
restrict 127.0.0.1 
restrict -6 ::1
restrict $suffix_ip.0.0 mask 255.255.0.0 nomodify notrap
 
restrict 0.vrv.pool.ntp.org mask 255.255.255.255 nomodify notrap noquery
restrict 1.vrv.pool.ntp.org mask 255.255.255.255 nomodify notrap noquery
restrict 2.vrv.pool.ntp.org mask 255.255.255.255 nomodify notrap noquery
#server 210.72.145.44
server  127.127.1.0 # local clock
fudge   127.127.1.0 stratum 10   
 
includefile /etc/ntp/crypto/pw
 
keys /etc/ntp/keys
 
" > /etc/ntp.conf
service ntpd restart && echo "ntp 配置完成!"
ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
hwclock --systohc --localtime
 
 
## 配置 hdp yum####################
echo "开始配置ambari..."
mkdir -p /var/www/html/ambari/
mkdir -p /var/www/html/vmp-extend/
cp -rf /mnt/vrv/vrv/AMBARI-2.2.1.0/centos6/2.2.1.0-161/*   /var/www/html/ambari/
cp -rf /mnt/vrv/vrv/vmp-extend-1.0/*    /var/www/html/vmp-extend/
createrepo  /var/www/html/vmp-extend/
createrepo /var/www/html/ambari/
# 写入文件
touch /etc/yum.repos.d/ambari.repo
touch /etc/yum.repos.d/vmp-extend.repo
 
echo "
[ambari-2.x]
name=Ambari 2.x
baseurl=http://$host_ip/ambari/
gpgcheck=0
enabled=1
priority=1
" >> /etc/yum.repos.d/ambari.repo
 
echo "
#cd /mnt/vrv/vrv/vmp-extend-1.0
#chmod 777 vmp-extend-1.0.sh
#sh vmp-extend-1.0.sh
[vmp-extend-1.0]
name=vmp-extend-1.0
baseurl=http://$host_ip/vmp-extend/
gpgcheck=0
enabled=1
priority=1
" >> /etc/yum.repos.d/vmp-extend.repo
 
yum clean all && echo "ambari 配置完成"
 
# 配置selinux#############
echo "开始配置selinux..."
sed -i 's/enforcing/disabled/' /etc/selinux/config && echo "selinux 配置完成"
 
# 配置 iptalbes###########
echo "开始配置iptables..."
service iptables stop && chkconfig iptables off && service ip6tables stop && chkconfig ip6tables off && echo "iptables配置完成"
 
# 关闭 THP################
echo "关闭THP..."
echo "if test -f /sys/kernel/mm/redhat_transparent_hugepage/defrag;then echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag fi" >> /etc/rc.local && echo "闭THP完成"
 
echo "更新主节点完成"

(3)generate_ssh.sh #配置ssh秘钥,安装jdk和mysql

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
#!/bin/bash
if [ $# -lt 2 ]; then  
echo " HELP  
 generate_ssh.sh --generate ssh key for login without typing password;  
this script should run on the namenode machine and user should edit the ip-list file  
   
USAGE: ./generate_ssh.sh user pasaword  
   
EXAMPLE: ./generate_ssh root admin
HELP  
"
        exit 0  
fi 
 
yum -y install expect && echo "expect 安装完成"
 
user=$1
ip=$HOSTNAME
pass=$2
rm -rf /root/.ssh/*
 
echo "##################################"
echo " generate the rsa public key on $HOSTNAME ..."
echo "##################################"
 
expect -c "  
    set timeout -1  
    spawn ssh-keygen -t rsa
    expect \"*id_rsa*\" 
    send \"\r\"
    expect \"*passphrase*\" 
    send \"\r\"
    expect \"*again*\"
    send \"\r\"  
expect eof  
cat /usr/bin/os/hosts while read line
do
#提取ip
    ip_i=${line% *}
    full_hostname_i=${ip_i##* }
    ip_i=${ip_i% *}
    hostname_i=${line##* }
    expect -c "
    set timeout -1
    spawn ssh-copy-id -i /root/.ssh/id_rsa.pub $hostname_i
    expect \"yes/no\"
    send \"yes\r\"
    expect \"password:\"
    send \"$pass\r\"
    expect \"#\"
 
expect eof
"
done
 
echo "ssh配置完成"
 
#安装jdk
echo " jdk 安装中"
rpm -e java-1.6.0-openjdk-1.6.0.38-1.13.10.4.el6.x86_64
rpm -e jdk-1.7.0_80-fcs.x86_64
rpm -e java-1.7.0-openjdk-1.7.0.99-2.6.5.1.el6.x86_64
cd /mnt/vrv/Packages/
rpm -ivh jdk-7u80-linux-x64.rpm
echo " jdk 安装完成"
 
#安装mysql
echo "安装mysql中"
cd /mnt/vrv/Packages/
rpm -e mysql-5.1.73-7.el6.x86_64.rpm --nodeps
rpm -e --nodeps mysql-libs-5.1.73-7.el6.x86_64.rpm
yum remove -y mysql-libs
rm -fr /usr/lib/mysql
rm -fr /usr/include/mysql
rm -f /etc/my.cnf
rm -fr /var/lib/mysql
rpm -ivh MySQL-server-5.5.50-1.linux2.6.x86_64.rpm
rpm -ivh MySQL-client-5.5.50-1.linux2.6.x86_64.rpm
 
echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled
service mysql restart
service httpd restart
echo "安装mysql完成"
echo "初始化mysql"
mysqladmin -uroot password 123456.
echo "初始化mysql完成"
touch /etc/my.cnf
echo "
[client]
default-character-set=utf8
[mysqld]
character_set_server=utf8
lower_case_table_names=1
" >> /etc/my.cnf
service mysql restart


(4)mysql_start.sh #主要用来配置mysql配置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
echo "安装ambari中"
rpm -e vmp-i18n-2.1.1.0
yum -y install ambari-server
echo "安装ambari完成"
mysql -uroot -pvrv123456. -e "
grant all on *.* to root@'%' identified by 'vrv123456.';
flush privileges; 
CREATE USER 'ambari'@'%' IDENTIFIED BY 'ambari';
grant all privileges on *.* to 'ambari'@'%' identified by 'ambari' with grant option; 
CREATE USER 'ambari'@'localhost' IDENTIFIED BY 'ambari';
grant all privileges on *.* to 'ambari'@'localhost' identified by 'ambari' with grant option;
CREATE USER 'ambari'@'os-manager' IDENTIFIED BY 'ambari'
grant all privileges on *.* to 'ambari'@'os-manager' identified by 'ambari' with grant option; 
flush privileges; 
CREATE USER 'hive'@'%' IDENTIFIED BY 'hive';
grant all privileges on *.* to 'hive'@'%' identified by 'hive' with grant option; 
CREATE USER 'hive'@'localhost' IDENTIFIED BY 'hive';
grant all privileges on *.* to 'hive'@'localhost' identified by 'hive' with grant option;
CREATE USER 'hive'@'os-manager' IDENTIFIED BY 'hive';
grant all privileges on *.* to 'hive'@'os-manager' identified by 'hive' with grant option; 
flush privileges;