关注前端开发微信微信号web007007

“双十一”背后的技术讨论

作者 管理员 发布时间 2012-11-14 10:01 文章分类 站长杂谈 文章评论 1条评论 阅读次数

如今双十一的意义不仅仅是光棍节了,而是一年一度的电商节淘宝无疑成了主角,191亿的销售额创下了历史记录,这是多么恐怖的数字,在这个数字之下则隐藏了很深技术,让我们看看各位资深人士关于双十一技术的讨论:

@dbatools (支付宝DBA)

双十一一天时间,支付宝核心数据库集群处理了41亿个事务,执行285亿次SQL,生成15TB日志,访问1931亿次内存数据块,13亿个物理读;亲手规划从当年的两台机器到今天的这个威猛的集群,还是有很多感想的。最核心的MySQL集群一天支持了20亿个事务。

@Fenng (丁香园(DXY.com) 技术负责人)

Twitter 在美国大选期间创下了一分钟 874560 条 Tweet 的记录,而淘宝在昨天的活动中,峰值数据是每分钟 89678 笔交易,考虑到一笔电商交易事务复杂度最起码是 Twitter 的数百倍… 淘宝整体架构相当牛了。现在的承载能力绝对超过 eBay 了,国内网站的架构,微博也远比 Twitter 做的好很多。

支付宝昨日订单数超过一亿,而 12306 最高一天出票量大约是 166 万。电商订单交易复杂度要远超过车票。尽管淘宝天猫支付宝在促销开始的时候服务稍有不稳定,但整天下来起码没怎么掉链子。替 12306 喊冤的可以不必了。另外,感慨一下淘宝天猫支付宝在电商领域上的技术积累的确是全球独步了。

@caoz (4399架构师)

从负载来讲,12306巅峰时间的负载比淘宝大促低两个数量级;从业务复杂性来讲,更低的多;简单举个例子,淘宝商品库规模至少是千万级,国内火车线路规模是多少? 商品搜索和车次搜索的复杂度更不可类比。所以别拿支付宝压力来说12306,不是一码事。

@左耳朵耗子 (Amazon中国研发经理,酷壳博主(CoolShell.cn))

淘宝双11头一分钟内千万级别访问量,购物车和支付宝无法访问。可见一致性这个事在面对高并发时的困难。不过,淘宝通过调整服务器资源配置,通过throtle流量的方式(拒绝用户)让系统稳定,可见淘宝运维能力很强。这就是我说的,系统运维是架构设计的重中之重。(另,那些喷12306的人是否理智思考了?)

@南非蜘蛛 (中国最大开源社区Chinaunix创始人之一窦喆)

今天铺天盖地的微博说支付宝使用了google的spanner技术,看评论还有很多技术专家在赞叹牛逼,经过和淘宝@淘叔度 确认,这和google的spanner只是一个重名产品,也不是数据库产品。技术界也这么浮躁了。

@淘正祥 (淘宝顶级科学家阳振坤)

双11网购节准备+OceanBase内部支持SQL了:一年一度的双11大考就要来了,OceanBase线上业务有30多个了,最大单表超过了400亿条记录,单个线上项目使用的服务器数量最大接近60台,现在:机群扩容(基本就是加机器,数据什么都自动迁移的),压力测试(线上流量回放,应用压测…),性能优化,负载平衡,热点消除……。同时,前前后后经过了一年左右的开发,OceanBase内部支持SQL的版本(0.4)也发布咯,客户端就是MySQL的客户端。

@bluedavy

这次双11给我的感触,充分的说明了在规模大的情况下,或者说要支撑超高流量的活动的情况下,弹性真的能带来极大的帮助(一方面是更好的支撑高峰,另一方面是用较低的成本来支撑),要做好弹性,有两点非常重要:集群内的均衡以及弹性的伸缩,可是这两点要做好都不容易。

为什么说弹性对活动(要到一定规模,规模不大的话加点机器撑完全值得)特别重要:1、容量无法准确预估(例如凌晨有应用压根没想到流量也会被上涨,紧要的关头该怎么办);2、错峰效应非常明显;弹性做的足够好的话,不需要预估细粒度容量,且能利用利用率低的一些机器或集群,降低为活动投入的成本。

@放翁_文初 (淘宝资深技术专家)

这是最后一次为TOP做大促值班,除了为新系统接受住考验而开心,也为TOP背后那些无论多大流量流过都可以让程序员看看书,写写代码,吃吃宵夜的系统而开心,因为这些系统都是日积月累不断主动磨练出来的结果,未来不论是谁接手,曾经的Coder会很自豪,因为这些project的code味道很正~~~节后会有最后一场开放平台技术分享,是TOP的流式分析系统,今年这么大的量依然可以保证TOP所有系统保持每两分钟都是透明的,而且只用了一小撮虚拟机,有兴趣的同学可以关注一下@云湛_j 后续的分享(没有啥国外的优秀架构使用分享,只有土生土长的系统进化实践)

@子柳 (自我简介:曾经是颗码农,一直在淘宝耕田)

【为什么淘宝搜索或者筛选最多只有100页?】: 这是一种折中的处理方式,空间换时间。 数据查询越往后翻,对服务器的压力越大,速度越低,而且从业务上来讲商品质量也越差,所以就没有必要给太多了。 新浪微博的时间轴也只给出了10页,同样的折中处理。

本文固定链接: http://www.web92.net/800.html | WEB前端开发

该日志由 于2012年11月14日发表在 站长杂谈 分类下, 你可以发表评论,并在保留原文地址及作者的情况下引用到你的网站或博客。
原创文章转载请注明: “双十一”背后的技术讨论 | WEB前端开发
关键字: , , ,