正文
大数据入门第二十一天——scala入门（一）并发编程Actor
小程序：扫一扫查出行【扫一扫了解最新限行尾号】
复制小程序
注：我们现在学的Scala Actor是scala 2.10.x版本及以前版本的Actor。
Scala在2.11.x版本中将Akka加入其中，作为其默认的Actor，老版本的Actor已经废弃
一、概述
1.什么是actor
Scala的Actor类似于Java中的多线程编程。但是不同的是，Scala的Actor提供的模型与多线程有所不同。Scala的Actor 尽可能地避免锁和共享状态 ，从而避免多线程并发时出现资源争用的情况，进而提升多线程编程的性能。此外，Scala Actor的这种模型还可以避免死锁等一系列传统多线程编程的问题。 Spark中使用的分布式多线程框架，是Akka 。Akka也实现了类似Scala Actor的模型，其核心概念同样也是Actor
2.scala与传统Java多线程编程
对于Java，我们都知道它的多线程实现需要对共享资源（变量、对象等）使用synchronized 关键字进行代码块同步、对象锁互斥等等。而且，常常一大块的try…catch语句块中加上wait方法、notify方法、notifyAll方法是让人很头疼的。原因就在于Java中多数使用的是可变状态的对象资源，对这些资源进行共享来实现多线程编程的话，控制好资源竞争与防止对象状态被意外修改是非常重要的，而对象状态的不变性也是较难以保证的。
而在Scala中，我们可以通过复制不可变状态的资源（即对象，Scala中一切都是对象，连函数、方法也是）的一个副本，再基于Actor的消息发送、接收机制进行并行编程。
3.actor方法执行顺序
1.首先调用start()方法启动Actor
2.调用start()方法后其act()方法会被执行
3.向Actor发送消息
4.发送消息的方法
|
! |
发送异步消息，没有返回值。 |
|
!? |
发送同步消息，等待返回值。 |
|
!! |
发送异步消息，返回值是 Future[Any]。 |
二、Actor实战
1.快速入门示例
Scala提供了Actor trait来让我们更方便地进行actor多线程编程，就Actor trait就类似于Java中的Thread和Runnable一样，
是基础的多线程基类和接口。我们只要重写Actor trait的act方法，即可实现自己的线程执行体，与Java中重写run方法类似。
此外，使用start()方法启动actor；使用!符号，向actor发送消息；actor内部
使用receive和模式匹配
接收消息
package com.jiangbei
// 注意这里是2.10版本的Actor所在的包，后续新版本已经废弃，转为Akka
import scala.actors.Actor object ActorTest {
def main(args: Array[String]): Unit = {
println("线程 启动！")
MyActor1.start()
MyActor2.start()
}
} object MyActor1 extends Actor {
override def act(): Unit = {
for (i <- 11 to 19) {
println("actor01---" + i)
Thread.sleep(500)
}
}
} object MyActor2 extends Actor {
override def act(): Unit = {
for (i <- 21 to 29) {
println("actor02---" + i)
Thread.sleep(500)
}
}
}
说明：上面分别调用了两个单例对象的start()方法，他们的act()方法会被执行，相同与在java中开启了两个线程，线程的run()方法会被执行
注意：这两个Actor是并行执行的，act()方法中的for循环执行完成后actor程序就退出了
2.可以不断地接收消息
package com.jiangbei
import scala.actors.Actor
object ActorTest {
def main(args: Array[String]): Unit = {
println("线程 启动！")
val actor1 = new MyActor1
actor1.start()
// 以下为异步消息，不等待返回
actor1 ! "start"
actor1 ! "stop"
println("消息发送完毕！")
}
}
class MyActor1 extends Actor {
override def act(): Unit = {
while (true) { //以下就是偏函数
receive {
case "start" => {
println("启动中...")
Thread.sleep(500)
println("启动完成！")
}
case "stop" => {
println("停止中...")
Thread.sleep(500)
println("停止完成！")
}
}
}
}
}
结果：
线程 启动！
消息发送完毕！
启动中...
启动完成！
停止中...
停止完成！
3.react方式会复用线程，比receive更高效
package com.jiangbei
import scala.actors.Actor
object ActorTest {
def main(args: Array[String]): Unit = {
println("线程 启动！")
val actor1 = new MyActor1
actor1.start()
// 以下为异步消息，不等待返回
actor1 ! "start"
actor1 ! "stop"
println("消息发送完毕！")
}
}
class MyActor1 extends Actor {
override def act(): Unit = {
loop {
react {
case "start" => {
println("starting ...")
Thread.sleep(1000)
println("started")
}
case "stop" => {
println("stopping ...")
Thread.sleep(1000)
println("stopped ...")
}
}
}
}
}
4.结合case class发送消息
package cn.itcast.actor
import scala.actors.Actor class AppleActor extends Actor { def act(): Unit = {
while (true) {
receive {
case "start" => println("starting ...")
case SyncMsg(id, msg) => {
println(id + ",sync " + msg)
Thread.sleep(5000)
sender ! ReplyMsg(3,"finished")
}
case AsyncMsg(id, msg) => {
println(id + ",async " + msg)
Thread.sleep(5000)
}
}
}
}
} object AppleActor {
def main(args: Array[String]) {
val a = new AppleActor
a.start()
//异步消息
a ! AsyncMsg(1, "hello actor")
println("异步消息发送完成")
//同步消息
//val content = a.!?(1000, SyncMsg(2, "hello actor"))
//println(content)
val reply = a !! SyncMsg(2, "hello actor")
println(reply.isSet)
//println("123")
val c = reply.apply()
println(reply.isSet)
println(c)
}
}
case class SyncMsg(id : Int, msg: String)
case class AsyncMsg(id : Int, msg: String)
case class ReplyMsg(id : Int, msg: String)
5.练习：actor版wordCount
package cn.itcast.actor
import java.io.File
import scala.actors.{Actor, Future}
import scala.collection.mutable
import scala.io.Source
/**
* Created by ZX on 2016/4/4.
*/
class Task extends Actor {
override def act(): Unit = {
loop {
react {
case SubmitTask(fileName) => {
val contents = Source.fromFile(new File(fileName)).mkString
val arr = contents.split("\r\n")
val result = arr.flatMap(_.split(" ")).map((_, 1)).groupBy(_._1).mapValues(_.length)
//val result = arr.flatMap(_.split(" ")).map((_, 1)).groupBy(_._1).mapValues(_.foldLeft(0)(_ + _._2))
sender ! ResultTask(result)
}
case StopTask => {
exit()
}
}
}
}
}
object WorkCount {
def main(args: Array[String]) {
val files = Array("c://words.txt", "c://words.log")
val replaySet = new mutable.HashSet[Future[Any]]
val resultList = new mutable.ListBuffer[ResultTask]
for(f <- files) {
val t = new Task
val replay = t.start() !! SubmitTask(f)
replaySet += replay
}
while(replaySet.size > 0){
val toCumpute = replaySet.filter(_.isSet)
for(r <- toCumpute){
val result = r.apply()
resultList += result.asInstanceOf[ResultTask]
replaySet.remove(r)
}
Thread.sleep(100)
}
val finalResult = resultList.map(_.result).flatten.groupBy(_._1).mapValues(x => x.foldLeft(0)(_ + _._2))
println(finalResult)
}
}
case class SubmitTask(fileName: String)
case object StopTask
case class ResultTask(result: Map[String, Int])
