首先非常感谢阿里云给我们提供了一个如此省事的平台。
我们公司是一家物流公司,主要提供运输和仓储的服务。我们现在正在把我们的系统往阿里云迁移。当然,还在迁移过程中,所以还有很多是没办法现在说得太清楚。但鉴于现有估计用阿里云的公司或个人越来越多,确实没有一个在阿里云搭建基于ECS的Tomcat集群的教程。我这就给大伙献丑了。这是个入门教程,同时其中也存在问题,还望大家指正。
首先,我们明确目标,做Tomcat集群的目的是为了提供更高的负载能力,把访问均摊到不同的服务器上。为此我们准备的配置清单是:
SLB x 1 ECS x 2 OCS x 1 RDS x 1
我们系统使用的软件也是应用厂商提供,不像阿里的技术那么牛逼,所以其内部还是使用了如Session等之类的标准技术。而我们对于集群的定义就是可以保持Session,确保用户登录后正常使用。
在阿里云或者是其他方式玩集群一般也都分为两种模式,一种是完全集中SESSION,各个集群点保持一致;还有一种就是基于一次会话指定某一个集群中节点提供服务。这个可能没说太明白,那么请参考SLB的资料,SLB其中有个是否保存会话(这个就对应到我们TOMCAT里面的配置模式是采用STICKY or NON-STICKY模式),本分享会说到两种模式,并且也会讨论关于我们在使用中发现的问题(这不会是我司部署的最终版本,因为我们每天都还在不断调整)。
首先,ECS要安装TOMCAT和JDK。这个很简单,网上很多教程。 我这就不介绍了。我们用的是TOMCAT7 以及 JDK7。建议TOMCAT先下载到自己电脑,配置好了再上传到ECS。
Step.1 TOMCAT增加memcached支持的lib包
我们需要memcached-session-manager,http://code.google.com/p/memcached-session-manager/。其中文档说得比较明确,参考其中去配置就好。
那么在本步骤中,我们主要是下载一些lib,在上面链接中的文档中有给出。自己找下啦。把下载到的lib放到Tomcat/lib目录里面(注意每个文件前缀的“msm-”这个本来是没有的,是我为了方便管理加的),有了这些包之后就可以配置TOMCAT连接到OCS啦:
Step.2 TOMCAT同步Session到OCS
这个步骤就是具体配置了。前面说到有两种模式:STICKY or NON-STICKY。
STICKY:负载均衡会根据用户会话,每次都分配到同一个集群节点上。用户每次获取会话数据都是从TOMCAT里面取得,TOMCAT会备份一个SESSION到OCS。 这样可以保持获取SESSION的最高效。
NON-STICKY:负载均衡不会管用户会话,而是按每次连接分别分发的方式,会话都保持在OCS上,每次读写都在OCS上。由于会远程访问数据,所以效率会低一些,但是这种却是最符合集群或集中缓存预期效果的。
关于连接到OCS的配置,都是在/Tomcat/conf/context.xml中编辑,在<Context>元素下增加下述的配置描述即可。
下面我们分别说两种的配置(只能有一种模式,千万别写两个上去了):
STICKY模式
<Manager className="de.javakaffee.web.msm.MemcachedBackupSessionManager"
memcachedNodes="OCS的地址:11211"
username="OCS实例名"
password="OCS密码"
memcachedProtocol="binary"
sticky="true"
sessionBackupAsync="true"
sessionBackupTimeout="1000"
requestUriIgnorePattern=".*\.(gif|jpg|jpeg|png|bmp|swf|js|css|html|htm|xml|json)$"
transcoderFactoryClass="de.javakaffee.web.msm.serializer.kryo.KryoTranscoderFactory" />
|
NON-STICKY模式
<Manager className="de.javakaffee.web.msm.MemcachedBackupSessionManager"
memcachedNodes="OCS的地址:11211"
username="OCS实例名"
password="OCS密码"
memcachedProtocol="binary"
sticky="false"
lockingMode="auto"
sessionBackupAsync="false"
sessionBackupTimeout="1000"
requestUriIgnorePattern=".*\.(gif|jpg|jpeg|png|bmp|swf|js|css|html|htm|xml|json)$"
transcoderFactoryClass="de.javakaffee.web.msm.serializer.kryo.KryoTranscoderFactory" />
|
其实配置是不是很简单呐,总之里面配置跟连接Memcached是一样的,所以我对阿里的这种设计非常之赞赏。
其中就注意一点,一定要有memcachedProtocol="binary",否则是用不了的,因为Tomcat memcached插件模式这个属性值是text,而阿里支持的是binary模式的数据,所以务必务必要注意。
Step.3 修改TOMCAT的JVM设置以及NIO(这个步骤跟OCS无关)
修改JVM设置在/Tomcat/bin/目录下,增加setenv.sh文件,写定要优化的配置。
我配置的如下,这个JVM参数有点问题,GC回收跟过山车一样。还需要继续改,所以不建议参考。如果有高人还望指点。ECS配置是双核/4G配置,用的CentOS 6.5 x64。
CATALINA_OPTS="-server -Xms3072m -Xmx3072m -Xmn1024m -Xss256K -XX:PermSize=128m -XX:MaxPermSize=128m -XX:SurvivorRatio=16 -XX:NewSize=1024m -XX:MaxNewSize=1024m"
|
修改NIO设置在/Tomcat/conf/context.xml
注释掉原有的Connector=8080的定义,增加如下的配置定义,使用NIO方式
<Connector port="8080"
protocol="org.apache.coyote.http11.Http11NioProtocol"
connectionTimeout="20000"
URIEncoding="UTF-8"
useBodyEncodingForURI="true"
enableLookups="false"
redirectPort="8443" />
|
Step.4 创建一个检查SESSION的JSP
创建一个JSP文件到Tomcat/webapps/ROOT目录下
<%@ page language="java" import="java.util.*" pageEncoding="ISO-8859-1"%>
<%
String path = request.getContextPath();
String basePath = request.getScheme()+"://"+request.getServerName()+":"+request.getServerPort()+path+"/";
%>
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">
<html>
<head>
<base href="<%=basePath%>">
<title>My JSP 'session.jsp' starting page</title>
<meta http-equiv="pragma" content="no-cache">
<meta http-equiv="cache-control" content="no-cache">
<meta http-equiv="expires" content="0">
<meta http-equiv="keywords" content="keyword1,keyword2,keyword3">
<meta http-equiv="description" content="This is my page">
<!--
<link rel="stylesheet" type="text/css" href="styles.css">
-->
</head>
<body>
<h1>
<%
out.println("This is (TOMCAT1), SESSION ID:" + session.getId());
%>
</h1>
</body>
</html>
|
Step.5 上传你配置好的TOMCAT到ECS
上传后启动,正常这个时候你就看见你的TOMCAT了。http://yourserver:8080/session.jsp,如果你看见的是如下字样,说明你的TOMCAT连接OCS成功了。
“
This is (TOMCAT1), SESSION ID:CAC189E5ABA13FFE29FCB1697F80182B-OCS
”
如果你用的是SLB,两个ECS,并且使用的NON-STICKY模式,通过负载后你会看到内部的Server在变,但是SESSION不变。
接下来,说问题
使用PTS压测session.jsp,100用户,TOMCAT配置NON-STICKY模式下。此刻使用浏览器访问session.jsp会出现SESSION_ID每次看都不一样的情况。没有执行压测的时候就正常的,也就是在大并发情况下OCS会出奇怪的问题么?
现在为了防止这种情况出现,我们已经换成了STICKY模式。即通过SLB分发会话到同一个节点机器执行服务,OCS只是做一个SESSION备份,防止节点宕机,另外节点可以重新获取到继续提供服务。
就是如此了,还请OCS团队给个答复或者是建议。或者有高人能指点下,怎么弄才是最好的办法呢?
[ 此帖被Happy_Tian在2014-11-07 13:06重新编辑 ]