在阿里云服务器上安装java和hadoop环境 hadoop默认端口介绍

在阿里云服务器上安装java和hadoop环境 hadoop默认端口介绍

相当于远程安装java和hadoop环境吧

其实和本地安装是一样的,这里说说大概的步骤吧。


首先下载jdk,并且安装好:

下载编译好的包

即 jdk-8u91-linux-x64.tar.gz 这个包

注意点击下载连接的时候,不要下载,而是复制下载地址,然后在服务器上下载

[likilone@iZ23lc5wynvZ www]$ wget -c http://download.oracle.com/otn-pub/java/jdk/8u91-b14/jdk-8u91-linux-x64.tar.gz?AuthParam=1464065843_94b35be5472c25706ba8e8d465be8753

下载后的文件名是

jdk-8u91-linux-x64.tar.gz?AuthParam=1464065843_94b35be5472c25706ba8e8d465be8753 因为我们没有定义文件名,所以这里使用默认的

在oracle下载文件的完整wget命令如下

可以参考这里

https://www.bugkong.com/archives/2015_01_201.html

代码如下


# wget -c –http-user=oracle用户名 –http-password=用户密码 –output-document=输出的文件名 下载的url
当然我们这里可以改名为java.tar.gz



mv jdk-8u91-linux-x64.tar.gz?AuthParam=1464065843_94b35be5472c25706ba8e8d465be8753 java.tar.gz


创建java目录,并且设置用户组为likilone


[likilone@iZ23lc5wynvZ www]$ sudo mkdir java
[likilone@iZ23lc5wynvZ www]$ sudo chown likilone:likilone java
[likilone@iZ23lc5wynvZ www]$ sudo tar -zvxf java.tar.gz -C java/
最后配置我们的java环境变量



PATH=$PATH:$HOME/.local/bin:$HOME/bin
#以下是我添加的java环境变量
export JAVA_HOME=/www/java/jdk1.8.0_91
export PATH=$JAVA_HOME/lib:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar


运行重启服务器,配置生效,运行java -version  可以查看到版本信息就表示安装成功


然后我们安装hadoop

由于我的系统的是64位的


[likilone@iZ23lc5wynvZ www]$ uname -a
Linux iZ23lc5wynvZ 3.10.0-123.9.3.el7.x86_64 #1 SMP Thu Nov 6 15:06:03 UTC 2014 x86_64 x86_64 x86_64 GNU/Linux


所以大家可以移步到这里下载我编译好的64位的hadoop

hadoop2.7.2 64位下载

然后可以查看这里配置hadoop以及运行hadoop

CentOS7安装hadoop2.7.2 实现伪分布式 测试成功(亲测教程)

最后安装成功后,运行命令 hadoop version

[likilone@iZ23lc5wynvZ ~]$ hadoop version
Hadoop 2.7.2
Subversion Unknown -r Unknown
Compiled by likilone on 2016-05-21T22:29Z
Compiled with protoc 2.5.0
From source with checksum d0fda26633fa762bff87ec759ebe689c
This command was run using /www/hadoop/share/hadoop/common/hadoop-common-2.7.2.jar

运行hadoop是需要关闭防火墙的

或者您可以自行打开以下端口也是可以的,hadoop用到以下端口(默认端口)

默认端口
设置位置
描述信息
8020
namenode RPC交互端口

8021
JT RPC交互端口

50030
mapred.job.tracker.http.address
JobTracker administrative web GUI         JOBTRACKER的HTTP服务器和端口
50070
dfs.http.address
NameNode administrative web GUI  NAMENODE的HTTP服务器和端口
50010
fs.datanode.address

DataNode control port (each DataNode listens on this port and registers it with the  NameNode on startup)

DATANODE控制端口,主要用于DATANODE初始化时向NAMENODE提出注册和应答请求

50020
dfs.datanode.ipc.address
DataNode IPC port, used for block transfer DATANODE的RPC服务器地址和端口
50060
mapred.task.tracker.http.address
Per TaskTracker web interface  TASKTRACKER的HTTP服务器和端口
50075
dfs.datanode.http.address 
Per   DataNode web interface  DATANODE的HTTP服务器和端口
50090
dfs.secondary.http.address
Per secondary NameNode web interface   辅助DATANODE的HTTP服务器和端口



爆款云服务器s6 2核4G 低至0.46/天,具体规则查看活动详情Blog Img