在阿里云上搭建Hadoop集群的详细教程如下：
1. 准备工作
- 阿里云账号：确保你已经有一个阿里云账号，并且已经开通了ECS实例。
- 安全组：创建一个新的安全组，开放必要的端口，如SSH（22）、HDFS（50070）、YARN（8088）等。
- 密钥对：生成一个密钥对，用于SSH登录ECS实例。
2. 创建ECS实例
1. 访问阿里云官：点击访问
2. 登录账号：登录你的阿里云账号。
3. 进入ECS控制台：在控制台首页找到“云服务器ECS”并点击进入。
4. 创建实例：
- 选择合适的地域和可用区。
- 选择合适的实例类型和配置。
- 选择系统镜像，建议选择CentOS 7.x。
- 配置存储和网络。
- 选择之前创建的安全组和密钥对。
- 点击“创建实例”。
3. 配置ECS实例
1. 连接ECS实例：
- 使用SSH工具（如PuTTY）连接到ECS实例。
- 输入密钥对的私钥文件路径，按照提示登录。
2. 更新系统：
sudo yum update -y
3. 安装Java：
sudo yum install -y java-1.8.0-openjdk-devel
4. 下载Hadoop：
wget https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
5. 解压Hadoop：
tar -xzvf hadoop-3.3.1.tar.gz -C /opt/
6. 配置Hadoop：
- 进入Hadoop目录：
cd /opt/hadoop-3.3.1/etc/hadoop
- 编辑
core-site.xml：
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
- 编辑
hdfs-site.xml：
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</分发配置>
- 编辑
mapred-site.xml：
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
- 编辑
yarn-site.xml：
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
</configuration>
4. 格式化HDFS
cd /opt/hadoop-3.3.1/bin
./hdfs namenode -format
5. 启动Hadoop集群
cd /opt/hadoop-3.3.1/sbin
./start-dfs.sh
./start-yarn.sh
6. 验证Hadoop集群
- 打开浏览器，访问
http://<ECS实例IP>:50070，查看HDFS Web界面。 - 访问
http://<ECS实例IP>:8088，查看YARN Web界面。
注意事项
- 防火墙和安全组：确保防火墙和安全组允许必要的端口通信。
- 权限：确保Hadoop目录和文件的权限设置正确。
- 集群扩展：如果需要扩展集群，可以添加更多的ECS实例，并配置相应的Hadoop节点。
通过以上步骤，你可以在阿里云上成功搭建一个Hadoop集群。
