hadoop是什么就不多说了,看这里
hadoop推荐部署环境是在linux,但是我们想要在windows体验一下还是可以的,follow me
我的环境:windows xp,hadoop安装包(0.20.1)
,cygwin
打开cygwin
explorer .
把hadoop的包放到这个目录下
然后输入命令
tar zxf hadoop-0.20.1.tar.gz
解压完成后进入hadoop-0.20.1的配置目录,打开core-site.xml,加入以下内容。这里是定义namenode运行地址和端口
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
打开hdfs-site.xml,加入以下内容
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
这里把复制因子设置为1是因为我们在windows上做伪分布,只能启动一个datanode
接下来可以定义namenode数据目录,和datanode数据目录。当然这个不是必须的,默认是在/tmp目录下面
<property>
<name>dfs.name.dir</name>
<value>c:/filesystem/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>c:/filesystem/data</value>
</property>
最后修改hadoop-env.sh,把下面注释的这行打开,并设置为你的jdk路径。如果你的java在Program Files下,则整个jdk路径加引号
export JAVA_HOME=你的jdk路径
ok,在cygwin下进入bin目录,首先需要格式化namenode
./hadoop namenode -format
然后启动namenode
./hadoop namenode
再打开一个datanode,同样在bin目录下
./hadoop datanode
不出意外,你会看到
namenode
datanode
我们可以试一下上传文件
./hadoop fs -put d:/download/vmware6.03.rar /tt/vm.rar
list一下
./hadoop fs -lsr /tt
结果:
-rw-r--r-- 1 Administrator supergroup 20793970 2010-01-18 15:52 /tt/vm.rar
有兴趣的筒子可以去c:/filesystem/data/current看看哈:)
过几天再记录一下hadoop mapreduce
- 大小: 143.4 KB
- 大小: 156.8 KB
分享到:
相关推荐
Windows安装hadoop Windows安装hadoop Windows安装hadoop Windows安装hadoop Windows安装hadoop Windows安装hadoop
windows安装需要的Hadoop库文件,windows安装需要的Hadoop库文件.
windows下hadoop2.7.3环境问题的解决,亲测win10、win7皆可使用
windows上安装hadoop教程,详细介绍了安装规则。
windows下的hadoop包(内含winutils.exe和hadoop.dll)。
windows环境下安装hadoop-2.8.3的详细步骤,包括调用自带的CountWord。
尽管网上有很多描述如何在windows安装hadoop,但真正能按你步骤说明能安装一个运行的环境并不多。该文档是我自己安装过程的总结。
windows下安装hadoop的依赖库文件,将bin和etc文件夹里面的内容替换hadoop解压目录的文件即可!大家好好学习!
windows下安装hadoop的依赖库文件 hadoop2.6.5 --- hadoop3.2.1
一份Windows上安装hadoop的教程和Vista/Win7上安装sshd服务的说明
windows安装Hadoop详细教程
在Windows上安装Hadoop 使用cygwin模拟使用linux环境 体验hadoop的分布式计算优势
Win本地执行Hadoop所需文件,本人博客(邵奈一CSDN)有配套教程:Windows本地安装Hadoop,请自行搜索,谢谢。
这是本人经过实践总结出来的一套及其详尽的windows下安装hadoop教程,绝对好用!如果配置上有什么问题的话,可以随时联系我。
hadoop安装与配置 在Windows环境下直接安装和配置Apache Hadoop的过程相对复杂,因为Hadoop原生设计是面向Linux/Unix环境的。尽管如此,仍然可以在Windows上搭建一个用于学习和开发的单节点Hadoop环境。以下是简化版...
该压缩包是在官方包的基础上进行修改的,将Windows运行hadoop所需配置文件和部分插件已经导入,电脑只需安装64位java环境,修改hadoop-env.cmd配置即可使用
hadoop安装与配置 在Windows环境下直接安装和配置Apache Hadoop的过程相对复杂,因为Hadoop原生设计是面向Linux/Unix环境的。尽管如此,仍然可以在Windows上搭建一个用于学习和开发的单节点Hadoop环境。以下是简化版...