无法启动Datanode的问题

dajuezhao

一、背景

早上由于误删namenode上的hadoop文件夹，在主节点上重新安装hadoop之后，发现有2个datanode无法启动，经过排查，解决了这个问题，记下。

二、现象及解决办法

1、2个节点的Tasktracker启动了，但datanode死活起不来。

2、使用sh hadoop-daemon.sh命令单独也无法启动。

3、错误信息如下：
2010-08-10 10:51:23,413 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: org.apache.hadoop.ipc.RemoteException: java.io.IOException: verifyNodeRegistration: unknown datanode s132:50010
2008-07-23 22:04:06,697 INFO org.apache.hadoop.ipc.Server: IPC Server handler 9 on 9000, call register(DatanodeRegistration(s132:50010, storageID=DS-450792627-192.168.3.132-50010-1280748240648, infoPort=50075, ipcPort=50020)) from 192.168.3.132:33610: error: java.io.IOException: verifyNodeRegistration: unknown datanode s132:50010
java.io.IOException: verifyNodeRegistration: unknown datanode s132:50010
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.verifyNodeRegistration(FSNamesystem.java:3887)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.registerDatanode(FSNamesystem.java:2041)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.register(NameNode.java:687)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:508)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:959)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:955)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:396)
        at org.apache.hadoop.ipc.Server$Handler.run(Server.java:953)

4、查看配置文件，core-site.xml，发现多了一项配置：

  dfs.hosts.exclude
  excludes

5、上网找资料，发现这个作用是通知集群需要停掉的机器名称。

首先建立一个excludes文件.它是一个文本, 里面每行就是想要停掉的主机名.这里excludes 放在 $HADOOP_HOME下，内容如下：

excludes：s132,s133

6、删掉，重启集群，OK。

三、总结

１、通过这个问题，衍生出了如何使datanode启动和停止。

2、有个问题没明白，这个配置想是什么时候加进去的。

3、可以参看http://coderplay.iteye.com/blog/290767这个内容。