微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

Apache Spark从1.5.2升级到1.6.0,使用自制程序导致执行期间权限被拒绝错误

我刚刚使用Homebrew将Spark从1.5.2升级到了1.6.0,并将SPARK_HOME环境variables重置为/usr/local/Cellar/apache-spark/1.6.0 。 现在执行pyspark时,会给出拒绝权限的错误

如果我进入较早的1.5.2安装目录并从那里执行pyspark,它运行良好。 但是从1.6.0安装目录运行pyspark失败,并且出现此权限被拒绝的错误

/usr/local/Cellar/apache-spark/1.6.0/bin/load-spark-env.sh: line 2: /usr/local/Cellar/apache-spark/1.6.0/libexec/bin/load-spark-env.sh: Permission denied

/usr/local/Cellar/apache-spark/1.6.0/bin/load-spark-env.sh: line 2: exec: /usr/local/Cellar/apache-spark/1.6.0/libexec/bin/load-spark-env.sh: cannot execute: Undefined error: 0

Nginx找不到OpenSSL开发头文件

502错误的网关,当debuggingPHP 7 Xdebug 2.4.0RC3 mac os

如何删除brew和apt-get之间的重复包

Mac OS Sierra的错误httpd apr_sockaddr_info_get()失败&不能可靠地确定服务器的完全合格的域名,使用127.0.0.1

Postgres – 尝试使用rake db:create:all后无法连接到服务器

什么可能导致这个?

Laravel – 代客2. *只返回'它的工作!'

PHP-FPM在macOS上用Nginx发送空的响应

OsX,因为Ruby权限,不能使用Homebrew

Nginx安装成功但无法启动

如何使用brew安装的PHP

我遇到了同样的问题,最简单的解决方法是将$SPARK_HOME设置$SPARK_HOME /usr/local/Cellar/apache-spark/<your_spark_version>/libexec/ 。

您也可以直接从源代码构建,您可以在这里找到说明。

基本上只是做

git clone https://github.com/apache/spark/` cd spark git checkout origin/branch-XY build/mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -DskipTests clean package

您需要将$SPARK_HOME设置为spark源代码的顶层目录。

项目页面上的票证帮助:

unset SPARK_HOME && spark-submit

https://github.com/Homebrew/homebrew/issues/48898#issuecomment-180633967

通过unset SPARK_HOME && pyspark (下面的信息诺里)

希望得到在Ipython中运行的SparkContext,结果是安静直接。

unset SPARK_HOME IPYTHON=1 pyspark

我也遇到了像启动spark-shell权限一样的错误。 我更改了文件权限。 它为我工作得很好。 转到spark-1.6.x的父目录,然后执行以下操作:

chmod 777 spark-1.6.x -R

这将递归地改变文件的权限。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐