我刚刚使用Homebrew将Spark从1.5.2升级到了1.6.0,并将SPARK_HOME环境variables重置为/usr/local/Cellar/apache-spark/1.6.0 。 现在执行pyspark时,会给出拒绝权限的错误。
如果我进入较早的1.5.2安装目录并从那里执行pyspark,它运行良好。 但是从1.6.0安装目录运行pyspark失败,并且出现此权限被拒绝的错误。
/usr/local/Cellar/apache-spark/1.6.0/bin/load-spark-env.sh: line 2: /usr/local/Cellar/apache-spark/1.6.0/libexec/bin/load-spark-env.sh: Permission denied
/usr/local/Cellar/apache-spark/1.6.0/bin/load-spark-env.sh: line 2: exec: /usr/local/Cellar/apache-spark/1.6.0/libexec/bin/load-spark-env.sh: cannot execute: Undefined error: 0
502错误的网关,当debuggingPHP 7 Xdebug 2.4.0RC3 mac os
Mac OS Sierra的错误httpd apr_sockaddr_info_get()失败&不能可靠地确定服务器的完全合格的域名,使用127.0.0.1
Postgres – 尝试使用rake db:create:all后无法连接到服务器
什么可能导致这个?
Laravel – 代客2. *只返回'它的工作!'
OsX,因为Ruby权限,不能使用Homebrew
Nginx安装成功但无法启动
如何使用brew安装的PHP?
我遇到了同样的问题,最简单的解决方法是将$SPARK_HOME设置$SPARK_HOME /usr/local/Cellar/apache-spark/<your_spark_version>/libexec/ 。
基本上只是做
git clone https://github.com/apache/spark/` cd spark git checkout origin/branch-XY build/mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -DskipTests clean package
您需要将$SPARK_HOME设置为spark源代码的顶层目录。
项目页面上的票证帮助:
unset SPARK_HOME && spark-submit
https://github.com/Homebrew/homebrew/issues/48898#issuecomment-180633967
通过unset SPARK_HOME && pyspark (下面的信息诺里)
希望得到在Ipython中运行的SparkContext,结果是安静直接。
unset SPARK_HOME IPYTHON=1 pyspark
我也遇到了像启动spark-shell权限一样的错误。 我更改了文件权限。 它为我工作得很好。 转到spark-1.6.x的父目录,然后执行以下操作:
chmod 777 spark-1.6.x -R
这将递归地改变文件的权限。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。