Java商城智能客服系统实战：从架构设计到性能优化-编程实验室

Java商城智能客服系统实战：从架构设计到性能优化

摘要：本文针对Java商城系统中智能客服模块的高并发响应慢、上下文丢失等痛点，基于Spring Cloud和NLP技术栈，设计了一套可扩展的智能客服解决方案。通过异步消息队列处理用户请求、Redis缓存对话上下文，并结合规则引擎与机器学习模型实现智能应答。---

1. 背景痛点：传统客服在618大促中“崩溃”现场

去年618，我们商城的IM客服在零点刚过就“雪崩”：

高峰期并发在线会话 3.2w，Tomcat 800线程全部打满，新用户进线直接502
客服A正在处理退货，用户刷新页面后，对话ID被重置，上下文丢失，只能从头再问一遍“订单号多少？”
运营临时加了“爆款答疑”文案，结果研发排期排到两周后，热点问题只能人工复制黏贴

痛定思痛，老板拍板：必须上“智能客服”，目标只有两句话——高并发扛得住，上下文不能丢。

2. 技术选型：为什么放弃纯Servlet，拥抱Spring Cloud Alibaba

维度	纯Servlet+阻塞IO	Spring Cloud Alibaba
连接模型	一请求一线程，3w连接≈3w线程	WebSocket+Netty，IO多路复用，单线程可撑10w连接
服务治理	自己写网关、限流、熔断	直接上Sentinel+Nacos，注解即可
消息总线	无，只能JVM内队列	RabbitMQ，生产/消费解耦，可水平扩展
配置热更	重启应用	Nacos配置监听，秒级生效

结论：商城业务链路长、活动密集，Spring Cloud Alibaba是唯一能让我们少写代码、多扛流量的方案。

消息队列选型时，Kafka吞吐量更高，但RabbitMQ：

自带消息TTL+死信队列，适合做“超时未答转人工”
管理后台友好，运营可自己建队列，无需研发

Redis当仁不让：

5w QPS单机轻松抗，对话上下文<2KB，1000w会话≈20G内存，成本可接受
支持Lua脚本，保证“读-改-写”原子性，避免并发覆盖

3. 核心实现

3.1 WebSocket长连接+心跳

网关层统一做SSL卸载，后端用spring-boot-starter-websocket，核心代码：

@Component @ServerEndpoint(value = "/chat/{userId}", configurator = ChatConfigurator.class) public class ChatEndpoint { private static final Logger LOG = LoggerFactory.getLogger(ChatEndpoint.class); /** 心跳超时 45s */ private static final int HEARTBEAT_TIMEOUT = 45000; /** 用户会话池 */ private static final ConcurrentMap<String, ChatEndpoint> ONLINE = new ConcurrentHashMap<>(); private Session session; private String userId; private long lastPong = System.currentTimeMillis(); @OnOpen public void onOpen(Session session, @PathParam("userId") String userId) { this.session = session; this.userId = userId; ONLINE.put(userId, this); // 首次连接立即拉取未读消息 ChatService.loadUnread(userId).forEach(this::sendText); } @OnMessage public void onMessage(String message) { if ("PING".equals(message)) { lastPong = System.currentTimeMillis(); sendText("PONG"); return; } // 投递到MQ异步处理 ChatEvent event = new ChatEvent(userId, message, Instant.now()); RabbitTemplate.convertAndSend("chat.exchange", "bot.route", event); } @OnClose public void onClose() { ONLINE.remove(userId); } /** 服务端主动推送 */ public void sendText(String text) { if (session.isOpen()) { session.getAsyncRemote().sendText(text); } } /** 定时任务每30s扫描一次，踢掉超时连接 */ @Scheduled(fixedDelay = 30000) public void heartbeatCheck() { long now = System.currentTimeMillis(); ONLINE.values().removeIf(e -> { if (now - e.lastPong > HEARTBEAT_TIMEOUT) { CloseReason cr = new CloseReason(CloseCodes.GOING_AWAY, "heartbeat timeout"); try { e.session.close(cr); } catch (IOException ignore) {} return true; } return false; }); } }

要点：

使用session.getAsyncRemote()异步发送，避免阻塞IO线程
心跳超时比nginx默认60s短，防止网关提前断开

3.2 Redis对话上下文存储设计

每通对话以chat:${chatId}为key，存储结构选用Hash：field→turnId, value→序列化后的Turn对象。
TTL设置10分钟，用户每发一次消息重新续期，既省内存又保证连续性。

@Configuration public class RedisTemplateConfig { @Bean public RedisTemplate<String, Turn> turnRedisTemplate(RedisConnectionFactory f) { RedisTemplate<String, Turn> t = new RedisTemplate<>(); t.setConnectionFactory(f); Jackson2JsonRedisSerializer<Turn> ser = new Jackson2JsonRedisSerializer<>(Turn.class); t.setHashValueSerializer(ser); t.setKeySerializer(RedisSerializer.string()); t.setHashKeySerializer(RedisSerializer.string()); return t; } } @Service public class ContextService { @Resource(name = "turnRedisTemplate") private RedisTemplate<String, Turn> redis; private static final long TTL_SECONDS = Duration.ofMinutes(10).getSeconds(); /** 追加一轮对话并刷新TTL */ public void appendTurn(String chatId, Turn turn) { String key = "chat:" + chatId; redis.opsForHash().put(key, String.valueOf(turn.getTurnId()), turn); redis.expire(key, TTL_SECONDS, TimeUnit.SECONDS); } /** 获取最近5轮，供模型做上下文推理 */ public List<Turn> getLast5(String chatId) { String key = "chat:" + chatId; List<Object> list = redis.opsForHash().values(key); return list.stream() .map(o -> (Turn) o) .sorted(Comparator.comparingInt(Turn::getTurnId)) .collect(Collectors.toList()); } }

序列化用Jackson+JSON，字段增减可向前兼容；若追求极致性能可换Protobuf，但调试麻烦，目前JSON够用。

3.3 规则引擎与NLP模型协同流程

用户消息进入RuleEngine
正则/表达式快速命中（例如“优惠券”），直接返回模板答案，耗时<10ms
未命中则封装上下文调用远程NLPService
若NLP置信度>0.85，返回AI答案；否则走“转人工”死信队列

规则引擎用Easy Rules，轻量无外部依赖：

@Rule(name = "couponRule", priority = 1) public class CouponRule { @Condition public boolean when(@Fact("text") String text) { return text.contains("优惠券") || text.contains("coupon"); } @Action public void then(Facts facts, @Fact("response") Response resp) { resp.setAnswer("优惠券入口：我的→优惠券，输入兑换码即可使用，有效期30天"); } }

4. 性能优化

4.1 压测报告（8C16G容器*4）

指标	初始版本	优化后
长连接数	3w	10w
QPS	1.2k	8.5k
平均响应	420ms	65ms
CPU峰值	92%	55%

关键优化点：

WebSocket的sendText改为异步
线程池摒弃CachedThreadPool，自定义：

ThreadPoolExecutor pool = new ThreadPoolExecutor( 200, // core 400, // max 60L, TimeUnit.SECONDS, new ArrayBlockingQueue<>(2000), new ThreadFactoryBuilder().setNameFormat("chat-worker-%d").build(), new ThreadPoolExecutor.CallerRunsPolicy());

队列长度2000是压测后拐点，再长RT会指数上涨。
3. Redis批量pipeline拉取上下文，减少RTT