配置Spark

小程序：扫一扫查出行
【扫一扫了解最新限行尾号】
复制小程序

参考《深入理解Spark:核心思想与源码分析》

Spark使用Scala进行编写，而Scala又是基于ＪＶＭ运行，所以需要先安装JDK，这个不再赘述。

１．安装Scala

安装获取Scala:

将下载的文件移动到自家想要放置的目录。

修改压缩文件的权限为７５５（所有者读写执行，同组成员读和执行，其他成员读和执行）

解压缩：

打开/etc/profile，添加scala的环境变量

查看scala是否安装成功：

２．安装完scala后，就要安装spark了

只接从网站上下载了spark安装包：

http://spark.apache.org/downloads.html

将安装包移动到自己指定的位置，解压缩。

配置环境变量：

添加spark环境变量

使环境变量生效：

进入spark的conf文件目录，

在spark-env.sh目录中添加java hadoop scala的环境变量

启动spark:

打开浏览器，输入http://localhost:8080

可见Spark已经运行了。

http://blog.csdn.net/wuliu_forever/article/details/52605198这个博客写的很好