在阿里云服务器上安装java和hadoop环境 hadoop默认端口介绍
相当于远程安装java和hadoop环境吧
其实和本地安装是一样的,这里说说大概的步骤吧。
首先下载jdk,并且安装好:
下载编译好的包
即 jdk-8u91-linux-x64.tar.gz 这个包
注意点击下载连接的时候,不要下载,而是复制下载地址,然后在服务器上下载
[likilone@iZ23lc5wynvZ www]$ wget -c http://download.oracle.com/otn-pub/java/jdk/8u91-b14/jdk-8u91-linux-x64.tar.gz?AuthParam=1464065843_94b35be5472c25706ba8e8d465be8753
下载后的文件名是
jdk-8u91-linux-x64.tar.gz?AuthParam=1464065843_94b35be5472c25706ba8e8d465be8753 因为我们没有定义文件名,所以这里使用默认的
在oracle下载文件的完整wget命令如下
可以参考这里
https://www.bugkong.com/archives/2015_01_201.html
代码如下
# wget -c –http-user=oracle用户名 –http-password=用户密码 –output-document=输出的文件名 下载的url当然我们这里可以改名为java.tar.gz
mv jdk-8u91-linux-x64.tar.gz?AuthParam=1464065843_94b35be5472c25706ba8e8d465be8753 java.tar.gz
创建java目录,并且设置用户组为likilone
[likilone@iZ23lc5wynvZ www]$ sudo mkdir java [likilone@iZ23lc5wynvZ www]$ sudo chown likilone:likilone java [likilone@iZ23lc5wynvZ www]$ sudo tar -zvxf java.tar.gz -C java/最后配置我们的java环境变量
PATH=$PATH:$HOME/.local/bin:$HOME/bin #以下是我添加的java环境变量 export JAVA_HOME=/www/java/jdk1.8.0_91 export PATH=$JAVA_HOME/lib:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
运行重启服务器,配置生效,运行java -version 可以查看到版本信息就表示安装成功
然后我们安装hadoop
由于我的系统的是64位的
[likilone@iZ23lc5wynvZ www]$ uname -a Linux iZ23lc5wynvZ 3.10.0-123.9.3.el7.x86_64 #1 SMP Thu Nov 6 15:06:03 UTC 2014 x86_64 x86_64 x86_64 GNU/Linux
所以大家可以移步到这里下载我编译好的64位的hadoop
hadoop2.7.2 64位下载然后可以查看这里配置hadoop以及运行hadoop
CentOS7安装hadoop2.7.2 实现伪分布式 测试成功(亲测教程)
最后安装成功后,运行命令 hadoop version
[likilone@iZ23lc5wynvZ ~]$ hadoop version Hadoop 2.7.2 Subversion Unknown -r Unknown Compiled by likilone on 2016-05-21T22:29Z Compiled with protoc 2.5.0 From source with checksum d0fda26633fa762bff87ec759ebe689c This command was run using /www/hadoop/share/hadoop/common/hadoop-common-2.7.2.jar
运行hadoop是需要关闭防火墙的
或者您可以自行打开以下端口也是可以的,hadoop用到以下端口(默认端口)
默认端口 |
设置位置 |
描述信息 |
8020 |
namenode RPC交互端口 |
|
8021 |
JT RPC交互端口 |
|
50030 |
mapred.job.tracker.http.address |
JobTracker administrative web GUI JOBTRACKER的HTTP服务器和端口 |
50070 |
dfs.http.address |
NameNode administrative web GUI NAMENODE的HTTP服务器和端口 |
50010 |
fs.datanode.address |
DataNode control port (each DataNode listens on this port and registers it with the NameNode on startup) DATANODE控制端口,主要用于DATANODE初始化时向NAMENODE提出注册和应答请求 |
50020 |
dfs.datanode.ipc.address |
DataNode IPC port, used for block transfer DATANODE的RPC服务器地址和端口 |
50060 |
mapred.task.tracker.http.address |
Per TaskTracker web interface TASKTRACKER的HTTP服务器和端口 |
50075 |
dfs.datanode.http.address |
Per DataNode web interface DATANODE的HTTP服务器和端口 |
50090 |
dfs.secondary.http.address |
Per secondary NameNode web interface 辅助DATANODE的HTTP服务器和端口 |
爆款云服务器s6 2核4G 低至0.46/天,具体规则查看活动详情