分类 "Ai" 下的文章

问题:安装hadoop集群需要配置哪些文件?
解决:这里仅设置了正常启动所必须的设置项: slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 。
方法:
1、文件 slaves
把作为 DataNode 的主机名写入该文件,每行一个,默认localhost可以删除

2、文件 core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://Master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
</configuration>

3、文件hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>Master:50090</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
</configuration>

4、文件mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>Master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>Master:19888</value>
</property>
</configuration>

5、文件yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>Master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

参考:http://dblab.xmu.edu.cn/blog/install-hadoop-cluster/

问题:Hadoop伪分布式配置需要修改哪些文件?
解决:需要修改hadoop/etc/hadoop/ 中,伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml
方法:
core-site.xml修改为
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

hdfs-site.xml修改为
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
</configuration>

参考:http://dblab.xmu.edu.cn/blog/install-hadoop/

问题:docker run的参数有哪些,分别是什么意思?
解决:
docker run是通过镜像生成容器的命令
主要参数有:
-p 8080:80  你将通过8080端口来访问容器的80端口
-d  在后台运行容器并打印出容器ID
--name  指定容器的名称

更多参数可以使用docker help run来查看

问题:docker如何删除已经下载的镜像
解决:使用rmi命令
方法:
docker rmi 84f(IMAGE ID)

拓展:基本命令
查看版本:docker version
更多信息:docker info
查看帮助:docker help run(docker命令)
搜索镜像:docker search tutorial(镜像名)
下载镜像:docker pull learn/tutorial(搜索出来的镜像名)
启动容器:docker run learn/tutorial echo "Hello World"
查看容器列表:docker ps
查看容器详情:docker inspect 689(容器id)
发布镜像:docker push learn/ping
已安装镜像列表:docker images