微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

Hadoop如何加载第三方包

报错背景:

本地idea编写Hadoop程序,对Nginx日志进行分析,引入nl.bitwalker.useragentutils.UserAgent包解析Nginx的浏览器信息获取浏览器系统名称和浏览器名称

本地测试可以完全ok,然后打包到Hadoop集群运行,报错找不到nl.bitwalker.useragentutils.UserAgent包

原因Hadoop不支持第三方包,

查了好多文档和博客依然没解决,无意间看见一篇博客(后来找不到啦)叫我在环境变量里面配置
HADOOP_CLAsspATH完美解决

解决在maven仓库中找到该包,

在这里插入图片描述

上传到主节点所在的Linux中,配置环境变量,

export HADOOP_CLAsspATH=~/UserAgentUtils-1.2.4.jar

激活环境变量

source /etc/profile

运行架包

hadoop jar code-1.0-SNAPSHOT.jar cn/awz/log/LogDriver /flume/upload/20220317/17 /NginxLogs

在这里插入图片描述

成功

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐