空降流量危机？QQ音乐升级架构应对高并发
# 关注并星标腾讯云开发者
# 每周3 | 谈谈我在腾讯的架构设计经验
#第2期|赵威：QQ音乐评论系统如何实现高可用？
【资料图】
QQ 音乐自诞生以来，已有多个版本的评论业务系统。最新版本是19年再次全新迭代，基于 tlist 存储，按照发表时间顺序展示。后续为了更好的用户体验，产品形态调整为评论盖楼模式，为了实现该功能，存储迁移到 mongo。
目前评论作为用户社交重要场景以及艺粉互动（明星空降）重要场地，经常会有突发流量。为了更好地保障空降场景评论体验，我们对评论系统进行充分的设计。
评论系统设计核心挑战点在于艺人空降时需要扛住突增的读写压力，包括评论数量、评论列表等读场景，以及发表评论，艺人评论置顶等写场景。
如果直接读 mongo，需要用非常高的存储成本来抗住读压力。对于高并发热 key，常规使用缓存方案，在缓存使用中注意做好防穿透以及限流策略，防止存储高负载雪崩。
评论写涉及比较复杂的业务逻辑，整体流程包含：
▶︎ 评论安全打击；
▶︎ 评论发布属地信息查询并记录；
▶︎ 评论是否需要置顶；
▶︎ 评论是否乐评人评论。
▶︎ ......
它涉及多个操作，部分处理失败会造成比较严重的体验问题。需要保障数据处理的一致性。为了保障一致性，一种是使用事务处理，强一致，但吞吐量稍微差些。另一种是使用可重入保障最终一致性，为了保障更高的吞吐量，写场景采用了最终一致方案。
通过消息队列解耦将评论写入高速 cache，异步写入 mongo。同时也能通过重试，确保比较核心数据最终写入 mongo。
通过上面两种设计，能在正常情况下很好满足日常评论的吞吐量，那是否真正做到高可用呢？随着业务迭代，在 add 消费场景再次增加了业务逻辑，比如增加上报，如果业务延时增加比较大或前置属地查询失败比较多时，整体 add 流程处理时延严重增加，导致消费效率下降、消息堆积，最后导致大盘全部评论全部延迟消费，用户体验出现发布后没有外显丢评论的体验问题。
评论系统引入热门消息队列，将全局评论和热门评论的消息队列做拆分。当热门消息过多时，最多只影响局部热门消息队列的堆积，对全局评论体验不影响。
上面没有在生成时直接写两个消息队列 topic，而采用对已有的消息队列再消费写入到热门消息队列，是由于下游还有很多场景在消费原有的消息队列，比如各种任务系统等，为了减少开发成本，采用了目前的方案。
采用上面的读写设计，基本能满足日常空降场景评论系统的可用性。随着空降参与艺人粉丝越来越多，业务遇到新的挑战。
艺人空降评论区艺粉互动效果不错，越来越多艺人空降评论区。粉丝参与热情高涨，读写流量节节高升，空降活动导致评论系统挑战越来越大，需要系统优化保障服务质量。我们通过如下方式来处理挑战：
▶︎ 增加写消费效率：增加 mongo 存储的存储核数，并增加消费并发度；
▶︎ 读服务平行扩容，并拆分缓存到更多的 key（uin%10等），防止热 key 太集中，增加读服务吞吐量；
▶︎ 拆分读服务和写服务部署，防止读写互相影响；
▶︎ 非关键场景限流，保障核心路径的可用性。
通过上述手段，保障空降活动大致稳定可靠，虽然遇到消费瓶颈，导致写场景有轻微堆积，但用户感知没有那么强烈。
其中一次大牌艺人活动中评论系统整体稳定可靠，但还是遇到了消费瓶颈，且中间出现了依赖存储 ckv 由于设置了降冷，在访问量非常高且空查询比较多的情况下，大量请求降到降冷存储 tssd。由于 tssd 降低成本设计未充分业务隔离，导致全平台 tssd 告警的问题。虽然通过限流紧急处理，但还是需要有系统性优化。
近期通过以下方面完成了相关的优化：
读场景
▶︎拆分评论数、点赞数存储从 ckv 迁移到 ckv+，不降冷，尽可能保障这两个数据可用性；
▶︎评论数增加本地缓存，增加版本号，保障用户体验无异常且评论数的高吞吐量；
▶︎前端保护后端，合理化请求时机，并在前端有数据情况下，遇到评论数或列表拉取异常时，前端不弹异常，减少异常感知；
▶︎前端优化页面体验，提升秒开率，提升用户体验。
写场景
▶︎ 拆分评论写场景逻辑，保障核心路径简化，优先保障写 mongo 速度和吞吐量，减少消息堆积概率；
▶︎ 增加优先级队列，保障艺人核心体验无阻塞；
▶︎ 完善相关工具建设，随时可以跟进相关数据或运营诉求，提升运营效率。
压测
▶︎读写场景常规压测，确保压测出业务瓶颈在运营场景需要情况下，能快速通过平行扩容，保障系统可用性。
通过一系列流程和架构优化，评论系统可用性得到进一步提升，相信在未来运营场景能很好地保障用户体验。欢迎各位在评论区交流讨论。以上就是本篇文章的全部内容了，如果文章对你有帮助，欢迎转发分享。
你亲历过哪些考验项目高并发/高可用的场景？你有什么可以分享的高并发/高可用经验吗？欢迎留言。我们将挑选一则最有趣的答案，为其留言者送出腾讯定制毛毯。8月16日中午12点开奖。
关注并星标腾讯云开发者 第一时间看鹅厂架构设计经验
标签：
推荐文章
- 饭店内2万余元黄金首饰被盗，3小时后警察找到了“最不可能的她”
- 为了防止造反，明朝不准王爷进京，清朝不准王爷出京，谁更高明
- 慈善夜市什么样？来半淞浦西世博园区看看吧
- 兰州市出台《关于进一步促进房地产市场平稳健康发展的若干措施》
- ⚽荷乙战报：赫尔肯斯头槌制胜 威廉二世2-1逆转马斯特里赫特
- 四合院开局一只旅行青蛙（旅行青蛙 明信片）
- 詹宁斯谈明年奥运首发：库里、布克、詹姆斯、杜兰特、浓眉
- 东西问·汉学家丨美国汉学家邰谧侠：《道德经》缘何成为外译最多的中国典籍？
- 顺发恒业(000631.SZ)：选举许小建为董事长
- 非遗文化+群众体育！普宁连续24年举办7届运动会
- 13岁女孩被老师扇致耳膜穿孔，事发数月老师仍在上课，学校回应
- 杨幂男友曝光？周冬雨跑路？杜华背刺孟美岐？檀健次被代言退货？
- 2023内蒙古鄂尔多斯市党群部门所属事业单位招聘工作人员考试成绩汇总的公告
- 祥源新材(300980.SZ)：研发生产的聚烯烃发泡材料已进入华为的供应链体系中，通过下游模切厂供给至华为
- 免票、半价！徐州最新发布！
- 华为Mate60和Mate50配置对比！5499起“加量不加价”
- 轩尼诗Hennessy亚洲首店将于上海前滩太古里开业
- 定西宽粉“圈粉”无数
- 河南各级工会三年消费援疆超4.5亿元
- 谨防文具盲盒“刺伤”孩子
- 一天三场重磅活动 温州新能源产业风鼓满帆
- 爱柯迪（600933）8月31日主力资金净卖出1283.43万元
- 机械革命鲨疯了 R7-7840H迷你主机2999元！
- 中贝通信：算力租赁业务尚未产生收入
- 金辉控股上半年净利润约7.37亿元，二线及核心三线土储占比为97%
- 街边烟火气聚拢起人气和财气
- 崩坏星穹铁道往复不止怎么达成
- 苏州五批次共计成交金额42.9亿元，2宗地块封顶摇号
- 华泰证券(06886)：“21华泰11”将于9月7日付息
- 宣战书（关于宣战书介绍）
- 离婚后对方不给抚养费可以申请法院强制执行吗？
- 中国智能手表市场：华为居首 苹果、小米居二
- 中央气象台升级发布台风红色预警
- 吴子嘉曝郭民调再往下掉 没能力就不要玩了
- 阿特斯：8月30日融资买入2477万元，融资融券余额2.86亿元
- 180家上市公司中报分红，减持新规下3家“铁公鸡”终分红
- 今日中国组合timez组合解散了吗（能说实话吗 TimeZ和EXO那个人气更高呢为什么我觉得TimeZ有些弱呢）
- 治安管理处罚法修订草案首次提请审议，这些看点值得关注
- 强度堪比“杜苏芮”！新台风会影响江西！接下来天气……
- 龙湖集团2023年第一期中期票据成功发行，规模为11亿元
- 四箭齐发，大牛市来了？
- ｜不一样的新村民，舞出岱岳新风情
- 莱西格(关于莱西格的简介)
- 良品铺子行走的CD夏日歌会落地武汉美术馆，本周五将迎来收官之战
- 中集集团上半年营收606亿元 储能业务在手订单逾10亿元
- 天风证券：给予科前生物买入评级
- 国产芯片制造的突破手，青岛芯恩-澳柯玛
- 农业农村部：科学规范开展增殖放流 推进长江大保护工作
- 福田雷萨北方战区营销业务交流会圆满召开
- 奋力夺取秋粮好收成
- 【动脉严选新品鉴第27期】安速康医疗：首款国产分体式设计无主机超声刀
- AH300ETF：融资净偿还1.15万元，融资余额97.29万元（08-29）
- 食品安全板块8月29日涨1.78%，新 大 陆领涨，主力资金净流出1.11亿元
- 创建文明城市从我做起征文800字开头 创建文明城市从我做起征文
- [meteortale]被收养的姐弟 Mokiet&Undyne
- 海绵是什么材料做的（海绵是什么材料）
- 皮蛋“拌”香蕉 沉浸式艺术展登陆上海
- 曝北京首钢男篮下赛季季后赛主场定在首都体育馆
- 收评：两市收高创业板指涨近3% 科创50指数大涨超4% 资金爆买相关ETF
- 莫里斯·斯泰因(关于莫里斯·斯泰因简述)
- 生物医药产业高质量发展战略咨询会召开
- 北京来论：两岸经贸关系必须回归正常化轨道
- 中国电研：8月28日融资买入445.01万元，融资融券余额1.06亿元
- 襄阳市樊城区明晶巷社区：打造睦邻调解室，巧化百姓烦心事
- 浙能电力：8月28日融资买入2202.59万元，融资融券余额2.4亿元
- 国海证券给予马应龙买入评级，2023 年中报点评：基数影响上半年销售费用高增长，短期拖累利润端
- 残保金2019年2015号优惠政策（残保金2019）
- 财政部、国家税务总局公布延续一批个人所得税优惠政策
- 自行车和棒球来了！明天10点，杭州亚运会又有8个项目开票
- 国家二级保护动物雨中“落难”，警民联手救助
- 【互动掘金】泰胜风能：目前在手订单充裕 各生产基地产能利用较为饱满
- 二维码 推动数字时代发展新变革
- 公安河东分局开展平安建设主题宣传活动
- 券商观点|食品饮料行业研究周报：中国啤酒的高端化，道阻且长，溯游从之
- 暴雨将至！台风“苏拉”逐渐靠近，海南未来天气
- 瑞尔特8月28日快速反弹
- 悄无声息的意思（别具匠心的意思）
- “不只选好作品，更要选好苗子”——2023青创赛侧记
- 【碧蓝档案×明日方舟】当罗德岛误入基沃托斯27:初入灰鸡窝的日富美
- 发泄小游戏下载（可以发泄的小游戏）
- 凯隐技能机制（lol凯隐技能）
- 中国石化：上半年净利同比降20.1% 拟8亿至15亿元回购股份
- 摩托罗拉耳机（关于摩托罗拉耳机的基本详情介绍）
- “苏拉”已升至超强台风，预报路径直指福建？未来泉州天气……
- 睡前八个动作瘦小腿
- 红楼梦：蘅芜苑是大荒山？薛宝钗是山鬼转世？
- qq涂鸦简单画法撩人（qq涂鸦怎么画好看）
- 奥迪时间怎么设置（奥迪时间怎么调整？）
- 郭艾伦：开局心态调整的不错&尤其张镇麟 替补上来节奏有点停滞
- 盘古越狱工具怎么用（盘古越狱工具）
- Target推进布局区域物流网络 提供就近配送服务
- 科威尔(688551.SH)：拟使用不超4.5亿元暂时闲置募集资金进行现金管理
- 老师补课学生提高60分，家长明知违规却引而不发，原来是时机未到
- 多措并举促消费丨税惠扮靓夜经济
X 关闭
资讯
X 关闭
