阿里云服务器大降价20%，简单拥有五年三台2h4gECS，组建公网集群

news2025/2/24 9:02:19

要在阿里云ECS上组建集群，您可以按照以下步骤进行操作：

创建ECS实例：登录阿里云控制台，选择ECS实例，点击“创建实例”按钮。根据实际需求选择实例的配置参数，例如实例规格、操作系统、网络等。根据需要选择购买数量。
配置实例网络：在实例创建过程中，选择合适的网络类型，例如VPC或经典网络。配置合适的VPC网络和子网，以及安全组。
安装软件：登陆ECS实例后，在实例上安装所需的软件，例如Hadoop、Kubernetes等。根据实际需求进行配置和调整。
配置节点：在集群中的每个ECS实例上进行相应的配置操作，例如将某个ECS实例标记为master节点，其他ECS实例标记为worker节点。
节点互通：配置ECS实例之间的网络互通，确保集群内各个节点能够相互通信。
配置负载均衡（可选）：如果需要对集群进行负载均衡，可以在阿里云控制台配置负载均衡服务，并将集群中的节点添加到负载均衡服务中。
测试集群：通过测试集群的各项功能和性能，确保集群正常运行。

以上是基本的步骤，您可以根据自己的需求和具体的集群类型进行扩展和调整。一旦集群建立成功，您可以根据实际业务需求对集群进行相应的管理和维护操作。

搭建过程:

1. 获取linux环境

本次租用了阿里云服务器（ContOS7.4)

2. 访问服务器

在租用之后可以通过阿里云的管理控制台点击远程连接直接使用，在此之前需要设置好服务器的访问密码等等。
除了直接通过阿里云提供的浏览器方式访问，我选择使用XShell工具对服务器进行操作，好处是可以直接通过Xttp上传文件。

3 .配置JDK环境

- JDK（JDK1.8.0_linux）

关于JDK直接在官网或者浏览器中可以找到相关的下载，由于是linux系统，那么安装肯定与windows安装方式不同。

1、上传下载好的压缩包到服务器中，我选择的路径是/opt/software存放安装压缩包

/opt/module存放软件路径，目的是为了方便管理。

2、使用tar命令解压压缩包，tar-zxvf xxx.tar -C /opt/module/

3、配置JDK环境变量

指令：vim /etc/profile

打开文件，在文件最下方添加环境变量，保存退出(!wq)

#JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_171
export PATH=$PATH:$JAVA_HOME/bin

# 注：本段不是xml文件，只是为了展示

3、加载文件 source /etc/profile

输入java -version 检查是否配置加载成功

4. 配置Hadoop

1、同JDK一样，下载文件，上传到服务器中解压

2、配置环境变量

同JDK一样配置 /etc/profile

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.6.5
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

3、配置Hadoop

进入Hadoop解压后的文件路径下进入配置文件路径 /hadoop/etc/hadoop/
vim hadoop-env.sh 配置JDK

# The java implementation to use.
export JAVA_HOME=/opt/module/jdk1.8.0_171

vim core-site.xml 配置

<configuration>
<!-- 指定HDFS中NameNode的地址 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://notting:9000</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-2.6.5/data/tmp</value>
</property>

</configuration>

vim hdfs-site.xml 配置副本数量、主节点地址

<configuration>
<!-- 指定HDFS副本的数量 -->
<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>
<property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>aliyun101:50080</value>
</property>
             
<!-- 如果是通过公网IP访问阿里云上内网搭建的集群 -->
<property>
    <name>dfs.client.use.datanode.hostname</name>  
    <value>true</value>
    <description>only cofig in clients</description>
</property> 
<property>
    <name>dfs.hosts.exclude</name>
    <value>/opt/module/hadoop2.6.5/conf/exclude</value>
    <description>拒绝加入集群的节点列表</description>
</property>
</configuration>

vim yarn-env.sh 配置JDK

# some Java parameters
export JAVA_HOME=/opt/module/jdk1.8.0_171

vim yarn-site.xml 配置yran资源调度器

<configuration>
<!-- Reducer获取数据的方式 -->
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>
 <!-- 指定YARN的ResourceManager的地址 -->
<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>aliyun101</value>
</property>
</configuration>

#此处的aliyun101是我自己电脑的vm的虚拟机

(对mapred-site.xml.template重新命名为) mapred-site.xml

- mv mapred-site.xml.template mapred-site.xml
- vim mapred-site.xml

<configuration>
<!-- 指定MR运行在YARN上 -->
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>
</configuration>