Nginx + Shiro + Ehcache 实现负载均衡集群(成绩报告查询系统)-白红宇

项目介绍

最近在做一款产品，对外提供学生成绩报告的查询，支付，查看以及下载等一系列功能，这里就简称成绩报告查询系统吧。

初步参赛人数十万左右，可能会存在相对高的并发同时在线，所以开发阶段就对负载均衡集群做了设计。

当然，涉及到负载均衡集群，就要考虑的Session存储的问题，由于项目本身使用了Ehcache做本地缓存，Shiro对其做了很好的封装，并且Ehcache也是支付分布式缓存同步的。所以，采用Ehcache做session存储暂且是一种实施方案。

关于Ehcache分布式缓存见：

项目架构

Spring MVC4 + Shiro-1.3.2 + Ehcache-2.10.0

运行环境

Nginx + Tomcat7(3台) + JDK1.7

项目架构图

前端

前端服务器使用Nginx做负载均衡，开启Gizp压缩，并实现动静分离，所有静态文件(JS/CSS/PNG等)请求由Nginx处理。

#查询系统配置server {        listen       80;        server_name  www.xxx.com  xxx.com;        index  index.jsp index.html;        location / {              proxy_next_upstream http_502  http_504 error timeout invalid_header;              proxy_pass      http://report;        }        location ~ .*.(css|js|png|jpg)$        {            proxy_pass http://report;            proxy_cache cache;            add_header Nginx-Cache $upstream_cache_status;#统计缓存命中            proxy_set_header Accept-Encoding 'gzip';#强制浏览器            expires 30d;        }}upstream report {          #ip_hash；            server  172.16.1.120:8080 weight=1  max_fails=2 fail_timeout=30s;            server  172.16.1.130:8080 weight=1  max_fails=2 fail_timeout=30s;            server  172.16.1.150:8080 weight=1  max_fails=2 fail_timeout=30s;}

后端

后端部署3台Tomcat服务器，所有动态请求(JSP/Action等)交给Tomcat处理，同时配置Tomcat的工作模式为Nio，这里大家可以自行百度Nio工作模式的优点。

实现方式

Nginx负载均衡模式本身支持加权轮询和ip_hash的。

ip_hash

同一个用户的请求将全部分配到一台服务，当然也就不存在session共享的问题。但是可能由于请求IP的不固定性，导致单个服务负载过大；如果其中一台宕掉，用户状态也不能转移。

所以，如果是基于ip_hash的配置，Ehcache本地缓存和分布式缓存都可以实现。

加权轮询

每一个用户的每一次请求根据权重分配到不同的机器，这就涉及到了session共享的问题。打个比方，如果用户登录是后端服务器A并且保存了用户信息，但是下一次请求可能就会跳转到后端服务器B，可想而知，这时B是没有用户信息的，也就是说用户还得跳转到登录页面。

这就涉及到分布式缓存的问题了，如果实现服务器ABC之间session同步的问题，图中所示，由RMI组播方式实现Ehcache缓存的同步。所以，如果采用加权轮询必须使用分布式缓存管理session。

项目实现

applicationContext-ehcache.xml 配置：


    
        
     
      Shiro EhCacheManager(单点最好使用此配置，集群下使用redisManager)

ehcache-rmi.xml 配置：

实现缺点

HCACHE的组播做得比较初级,功能只是基本实现(比如简单的一个HUB,接两台单网卡的服务器,互相之间组播同步就没问题),对一些复杂的环境(比如多台服务器,每台服务器上多地址,尤其是集群,存在一个集群地址带多个物理机,每台物理机又带多个虚拟站的子地址),就容易出现问题。

究其原因, 组播/广播转发是一个很复杂的过程. 简单的说, 一个组播缺省只能在一个网段内传输,不能跨网段。

更何况在一些云计算的环境,集群的分布往往是跨网段的,甚至是跨地域的.这时更难以依赖这种初级的组播同步。

总之,分布式集群架构,建议使用Redis或者Memcache缓存实现。

下一篇文章继续讲基于 Nginx + Shiro + Redis 实现负载均衡集群(成绩报告查询系统升级篇)

声明：本文内容大体流程仅供参考，有些并未涉及到具体代码实现。

小站