正文

独一无二 hortonworks spark 源码编译教程

IP云
IP云V管理员/0 阅读
08/20
小程序：扫一扫查出行
【扫一扫了解最新限行尾号】
复制小程序

hortonworks的源码在github上能找到！

https://github.com/hortonworks/spark2-release

找到对应版本release源码后下载到本地

在windows可以直接编译，在ubuntu需要安装zinc

spark项目使用了hortonworks的私人远程库！

地址:http://nexus-private.hortonworks.com/nexus/content/groups/public

编译工具是maven，仓库配置方法：打开spark项目根目录下pom.xml,找到repositories节点，添加

<repository>
<id>public</id>
<url>http://nexus-private.hortonworks.com/nexus/content/groups/public</url>
</repository>

防止内存溢出,windows添加环境变量 MAVEN_OPTS      -Xmx2g -XX:ReservedCodeCacheSize=512m

linux 修改/etc/profile 文件末尾添加export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m"

重启电脑后环境变量生效

调用./build/mvn -DskipTests clean package 开始编译

另外,hortonworks有编译好的资源在这个网址能找到 http://repo.hortonworks.com/content/groups/public/org/apache