2020-04-15 01:12:22 共251人围观 0个不明物体

windows下远程访问hadoop Permission denied: user 等权限问题 出现该权限问题主要是因为我们在上传附件或创建/删除文件(夹)时会发生这种情况，解决方法如下： 可以修改我们需要操作的文件夹权限即可 方法一，在程序种添加如下代码 System.setProperty("HADOOP_USER_NAME", "root");

2019-01-26 02:32:06 共1006人围观 0个不明物体

hadoop web ui 简单权限验证 1，在中加入如下代码 !-- Authentication for Hadoop HTTP web-consoles -- property namehadoop.http.filter.initializers/name valueorg.apache.hadoop.security.AuthenticationFilter

2019-01-20 19:24:03 共1559人围观 0个不明物体

执行如下命令报错 [likilone@heyou_2 hadoop]$ hdfs dfs -mkdir /test/ mkdir: Incomplete HDFS URI, no host: hdfs://heyou_2:9000 其原因是hadoop设定的主机名不能有_ 但是可以为-

2019-01-14 01:51:37 共834人围观 0个不明物体

hadoop2.9.2源码64位编译 之前我对hadoop2.7.2源码进行了64位编译，由于官方最新版仍然是提供的是32位的二进制版本，因此，经过不懈努力，我对最新版本也进行了64位编译，编译过程大同小异。 编译中遇到的问题，我也在博客中有所提及，大家可自行编译，如不希望编译，也可以通过如下链接进行下载，体验最新版本的hadoop 自行编译，可参考 如何编译官

2018-12-22 04:02:28 共1774人围观 0个不明物体

编译hadoop的时候出现如下错误 [ERROR] Failed to execute goal org.apache.hadoop:hadoop-maven-plugins:2.9.2:cmake-compile (cmake-compile) on project hadoop-pipes: CMake failed with error code 1 - [Help 1] [

2016-08-02 02:15:55 共1573人围观 0个不明物体

hadoop的split使用方法，不当使用可能会使你的程序运行缓慢 今天运行一个简单的hadoop测试程序时，发现运行缓慢 后来发现，原来时因为我在分割字符串的时候使用的java原生的分割字符串的方法split 这个方法是可以用的，但是当真正在大数据环境下时，他的效率就相当的底下 因此hadoop为我们提供了

2016-07-05 07:25:35 共1326人围观 0个不明物体

hadoop的RPC框架封装思想 我们这里用controller远程访问服务端的一个方法login()为例，来简要说明一下 hadoop的RPC框架封装思想 本例可以参考以下文章 Hadoop的第一个rpc实现——hello likilone 1、通过客户端与服务端共有的接口，生成

2016-06-29 10:19:59 共1985人围观 0个不明物体

在hadoop里面删除和恢复数据，和我们在windows下是 一样的 他也有一个回收站 如果仅仅只是删除文件，文件是可以被恢复的，并且我们不会去操作回收站，除非没有空间了 如果删除回收站里的东西，那您的文件就不可恢复了。 测试删除、恢复hadoop数据

2016-06-25 08:20:59 共1171人围观 0个不明物体

服务端与客户端的网络通信 Hadoop的第一个rpc实现——hello world 目前所知道的有三种方式可以实现了吧 第一、就是通过scoket来实现，当然这是底层的； 第二、通过soap协议的webservice或框架的axis2； 第三、就是我们接

2016-06-17 07:34:37 共2421人围观 0个不明物体

现在习惯了凌晨起来学习hadoop，由于昨天一天都在写项目，所以今天凌晨突然不知道hadoop应该学什么了 突然想到，测试下在集群里测试下上传文件 本文主要探讨上传文件的备份、存放等 hadoop测试并分析在子节点上上传大文件 备份 存放等

2016-06-16 10:09:33 共1383人围观 1个不明物体

通过分析示例程序WordCount， 完成统计自己的网站日志需求——统计IP地址 前几天把事示例程序运行了一下，也算是成功的 今天就测试了用MapReduce来测试下分析网站的日志，主要统计来访的IP地址的次数 我们先分析一下 WordCount 的源码——以我的认知 首

2016-06-15 08:21:28 共1409人围观 0个不明物体

运行第一个MapReduce程序 The auxService:mapreduce_shuffle does not exist 出现这个问题是因为没有正确配置 yarn-site.xml 详细地址在：/mysoft/hadoop/etc/hadoop 在yarn-site.xml中加入如下代码

2016-06-15 06:18:37 共1809人围观 0个不明物体

hadoop 没有找到主机路由 出现这个问题，一般的助理方法是 1、namenode主机ping其他的节点主机，查看是否通 2、datanode主机ping其他节点主机，查看是否通 3、通常，前两项我们一般都不会有问题 主要问题是防火墙是否关闭 Ubuntu关闭防火墙的

2016-06-01 07:13:39 共2426人围观 0个不明物体

eclipse的hadoop插件 hadoop-eclipse-plugin-2.7.0.jar下载 下载地址：http://pan.baidu.com/s/1mietNcs 密码：nyad

2016-06-01 07:17:51 共1386人围观 0个不明物体

eclipse配置hadoop插件 安装hadoop插件可以方便我们 进行一些简单的操作 ，比如删除，上传，下载操作 而无需在xshell操作或进入浏览器查看 浏览器查看的地址应该是类似于这样的 http://mycentos:50070/explorer.html

2016-05-31 14:57:25 共940人围观 0个不明物体

关于DataNode的运行机制和副本规则 DataNode的一些笔记。 A、DataNode默认的三个副本的创建规则 1，首先，先在本机创建一个副本 2，再在另外一个机架上存放一个副本 3，再在本机所在的机架上存放一个副本 B、副本数量的配置优先级 1，服务端 hdfs-site.xml 可以配置 2