linux-Hadoop集群中tasktracker上的UnknownHostException

按照教程说明,我已经建立了一个伪分布式的Hadoop集群(在同一框中有jobtracker,tasktracker和namenode),并且运行良好.我现在正尝试将另一个节点添加到该群集中,作为另一个tasktracker.

当我检查节点2上的日志时,除了tasktracker之外,所有日志看起来都很好.我收到下面列出的错误消息的无限循环.似乎任务跟踪程序正在尝试使用主机名ssp-SANDBox-1.mysite.com,而不是IP地址.该主机名不在/ etc / hosts中,因此我猜这是问题出处.我没有root用户访问权限,无法将其添加到/ etc / hosts.

我可以更改任何属性或配置,以使其停止尝试使用主机名进行连接吗？

非常感谢,

2011-01-18 17:43:22,896 ERROR org.apache.hadoop.mapred.TaskTracker: 
Caught exception: java.net.UnkNownHostException: unkNown host: ssp-SANDBox-1.mysite.com
        at org.apache.hadoop.ipc.Client$Connection.<init>(Client.java:195)
        at org.apache.hadoop.ipc.Client.getConnection(Client.java:850)
        at org.apache.hadoop.ipc.Client.call(Client.java:720)
        at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:220)
        at $Proxy5.getProtocolVersion(UnkNown Source)
        at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:359)
        at org.apache.hadoop.hdfs.DFSClient.createRPCNamenode(DFSClient.java:106)
        at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:207)
        at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:170)
        at org.apache.hadoop.hdfs.distributedFilesystem.initialize(distributedFileSystem.java:82)
        at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1378)
        at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:66)
        at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1390)
        at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:196)
        at org.apache.hadoop.fs.Path.getFileSystem(Path.java:175)
        at org.apache.hadoop.mapred.TaskTracker.offerService(TaskTracker.java:1033)
        at org.apache.hadoop.mapred.TaskTracker.run(TaskTracker.java:1720)
        at org.apache.hadoop.mapred.TaskTracker.main(TaskTracker.java:2833)

解决方法:

这篇博客文章可能会有所帮助：

http://western-skies.blogspot.com/2010/11/fix-for-exceeded-maxfaileduniquefetches.html

简短的答案是,即使您在配置文件中指定IP地址,Hadoop也会执行反向主机名查找.在您的环境中,为了使Hadoop工作,ssp-SANDBox-1.mysite.com必须解析为该计算机的IP地址,并且对该IP地址的反向查找必须解析为ssp-SANDBox-1.mysite .com.

因此,您需要与管理这些计算机的人交谈,以篡改主机文件或提供DNS服务器来执行正确的操作.