报错背景:
本地idea编写Hadoop程序,对Nginx日志进行分析,引入nl.bitwalker.useragentutils.UserAgent包解析Nginx的浏览器信息获取浏览器系统名称和浏览器名称,
本地测试可以完全ok,然后打包到Hadoop集群运行,报错找不到nl.bitwalker.useragentutils.UserAgent包
原因Hadoop默认不支持第三方包,
查了好多文档和博客依然没解决,无意间看见一篇博客(后来找不到啦)叫我在环境变量里面配置
HADOOP_CLAsspATH完美解决
解决在maven仓库中找到该包,
上传到主节点所在的Linux中,配置环境变量,
export HADOOP_CLAsspATH=~/UserAgentUtils-1.2.4.jar
激活环境变量
source /etc/profile
运行架包
hadoop jar code-1.0-SNAPSHOT.jar cn/awz/log/LogDriver /flume/upload/20220317/17 /NginxLogs
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。