big_data环境配置

hadoop fs -ls /
列出hdfs文件系统根目录下的目录和文件
hadoop fs -ls -R /
列出hdfs文件系统所有的目录和文件

1

test if docker is alreay setup, $sudo docker info
配置一个hadoop环境,该环境中有一namenode(主机),两个datanode(子机)

2

$ mkdir bigdata-class2 # 创建一个目录
$ cd bigdata-class2 # 进入 文件夹
$ sudo docker pull joway/hadoop-cluster# 镜像文件 pull docker image ,接下来需要输入密码,需要管理员权限

这句话的意思是 docker pull
docker pull [-a “o”>] [user/ “o”>]name[:tag “o”>]
docker pull laozhu/telescope:latest
从 Docker Hub 中拉取或者更新指定镜像。
-a 拉取所有 tagged 镜像 。

There is no sudo command in Windows. The nearest equivalent is “run as # # administrator.” http://stackoverflow.com/questions/9652720/how-to-run-sudo-command-in-windows .

$ git clone https://github.com/joway/hadoop-cluster-docker # 把 github repository 复制到本地
$ ls # 检测 本地有一个hadoop cluster docker 的文件夹

$ sudo docker network create –driver=bridge hadoop # 创建 hadoop network
$ cd hadoop-cluster-docker # 进入到 hadoop-cluster-docker 文件夹
$ sudo ./start-container.sh # 运行, 如果你看到下面的类似的输出就恭喜你运行成功, 表示的意思是我们启动了1个name node叫做master, 2个data node 叫做 hadoop-slave,这段代码在每次使用Docker的时候必须运行