Spark开发环境搭建（IDEA、Scala、SVN、SBT）

小程序：扫一扫查出行
【扫一扫了解最新限行尾号】
复制小程序

软件版本

软件信息
软件名称	版本	下载地址	备注
Java	1.8	https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html	64位版本的
Scala	2.10.5	https://www.scala-lang.org/download/2.10.5.html
SBT	sbt 1.1.6	https://www.scala-sbt.org/download.html
SVN	最新版本	https://tortoisesvn.net/downloads.html	64位版本
IDEA		http://www.jetbrains.com/idea/

安装JDK

下载JDK

安装JDK

下载后直接安装就好了，设置一下安装路径：D:\Program Files\Java

安装完后的文件结构（我的版本是171的）

配置环境变量

创建JAVA_HOME:

配置path：%JAVA_HOME%\bin;

查看安装情况

打开cmd终端输入java -version

出现java版本号则表示安装成功

安装Scala

下载Scala

安装Scala

直接解压到D:\Program Files\Scala

解压后文件结构

配置环境变量

参考JDK环境变量设置

查看安装情况

输入scala,出现版本号则表示安装成功

安装SVN

下载SVN

安装SVN

制定安装路径：D:\javaTool

这里有个要注意的地方

command line client tools 选项一定要勾选上，否则IDEA配置的时候会找不到svn.exe

配置环境变量

参考JDK环境变量的配置

查看安装情况

执行svnserve --help，出现一下页面

桌面任意位置右键，出现

安装SBT

下载SBT

安装SBT

解压到D:\javaTool，文件结构如下

配置环境变量

参考JDK环境变量设置

配置SBT

repo.repositories

 进入D:\javaTool\sbt\conf 下

 创建一个文件repo.repositories

 编辑以下内容

 [repositories]

 local

 cloudera: https://repository.cloudera.com/artifactory/cloudera-repos/

 aliyun: http://maven.aliyun.com/nexus/content/groups/public/

 - maven-local: D:/javaTool/mavenLocalRepository

 cloudera：这是cdh版本的库，如果使用的是cloudera的hadoop全家桶需要使用这个库

 aliyun：阿里云的库，国内的比较快

 maven-local：因为我还配置了一个Maven，所以可以吧maven的本地仓库加进来，如果没有就不需要加了。

 以上是repo.repositories文件的内容

修改完后如下

sbtconfig

 编辑sbtconfig文件输入以下内容

 # Set the java args to high

 -Xmx512M

 -XX:MaxPermSize=256m

 -XX:ReservedCodeCacheSize=128m

 # Set the extra SBT options

 -Dsbt.log.format=true

 -Dsbt.ivy.home=D:/javaTool/sbt/ivy

 -Dsbt.global.base=D:/javaTool/sbt/.sbt

 -Dsbt.repository.config=D:/javaTool/sbt/conf/repo.properties

 -Dsbt.log.format=true

 说明：前一部分是jvm的一些配置

 -Dsbt.ivy.home：是本地库，类似与maven的本地库

 -Dsbt.repository.config：指定使用的配置文件

 另外另个还没去查找啥意思

配置完如下

到目前为止sbt配置部分就结束了,接下来只要到开一个命令行输入sbt,不出意外的话sbt就会构建成功,会生成D:/javaTool/sbt/ivy等等

但是可能是版本原因,配置的本地仓库并没有生效,jar还是下载到了C盘，在查找资料后，发现还有另一个地方需要配置。

D:\javaTool\sbt\bin\sbt-launch.jar

配置文件是在D:\javaTool\sbt\bin\sbt-launch.jar中的\sbt\sbt.boot.properties中（可用rar解压工具直接打开修改并覆盖，记住是用rar打开文件不需要解压，否则弄不回jar了），修改里面的内容：

 [scala]

   version: ${sbt.scala.version-auto}

 [app]

   org: ${sbt.organization-org.scala-sbt}

   name: sbt

   version: ${sbt.version-read(sbt.version)[1.1.6]}

   class: ${sbt.main.class-sbt.xMain}

   components: xsbti,extra

   cross-versioned: ${sbt.cross.versioned-false}

   resources: ${sbt.extraClasspath-}

 [repositories]

   local

   spring: http://conjars.org/repo/

   cloudera: https://repository.cloudera.com/artifactory/cloudera-repos/

   aliyun: http://maven.aliyun.com/nexus/content/groups/public/

   maven-central

   sbt-maven-releases: https://repo.scala-sbt.org/scalasbt/maven-releases/, bootOnly

   sbt-maven-snapshots: https://repo.scala-sbt.org/scalasbt/maven-snapshots/, bootOnly

   typesafe-ivy-releases: https://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[module]/[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly

   sbt-ivy-snapshots: https://repo.scala-sbt.org/scalasbt/ivy-snapshots/, [organization]/[module]/[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly

 [boot]

   directory: ${sbt.boot.directory-${sbt.global.base-${user.home}/.sbt}/boot/}

   lock: ${sbt.boot.lock-true}

 [ivy]

   ivy-home: D:/javaTool/sbt/ivy

   checksums: ${sbt.checksums-sha1,md5}

   override-build-repos: ${sbt.override.build.repos-false}

   repository-config: ${sbt.repository.config-${sbt.global.base-${user.home}/.sbt}/repositories}

修改后如下：

查看安装情况

再终端执行sbt

经测试，此时下载的jar会放在D:/javaTool/sbt/ivy中，即自己设置的本地库中

安装IDEA

因为我的IDEA早就安装完了，所以在网上找了个教程，参照下面教程就可以把IDEA安装完毕

下载IDEA

 关于JDK版本，在scala的官网上有这么一段话

 Installation

 1.Make sure you have the Java 8 JDK (also known as 1.8)

 o    Run javac -version on the command line and make sure you seejavac 1.8.___

 o    If you don’t have version 1.8 or higher, install the JDK

 2.Next, download and install IntelliJ Community Edition

 3.Then, after starting up IntelliJ, you can download and install the Scala plugin by following the instructions on how to install IntelliJ plugins (search for “Scala” in the plugins menu.)

 When we create the project, we’ll install the latest version of Scala. Note: If you want to open an existing Scala project, you can click Open when you start IntelliJ.

 大概意思是 需要1.8以上版本的jdk，所以我们需要安装jdk1.8或以上版本

IntelliJ IDEA有免费的社区版(Community Edition)和收费的旗舰版(Ultimate Edition),我安装的是社区版本