傻大方


首页 > 人文 >

大数据&云计算|作为数据库核心成员,如何让淘宝不卡顿?



按关键词阅读:


大数据&云计算|作为数据库核心成员,如何让淘宝不卡顿?
本文插图
阿里妹导读:TDDL(Tabao Distributed Data Layer)是淘宝开源的一个用于访问数据库的中间件 , 集成了分库分表 , 主备 , 读写分离 , 权重调配 , 动态数据库配置等功能 。 本文以2007年TDDL初诞生时的视角 , 介绍TDDL是如何一步步设计成型的 , 希望能帮助同学们简单收获:常规数据库效率问题解决思路、TDDL框架设计基本思路以及分布式数据库设计思路等 。

文末福利:《MySQL实操》技术公开课 。
时间倒转穿越回2007年年底
一觉醒来 , 我还是照常去上班 , 走到西溪湿地附近 , 马路没有 , 高楼没有 , 有的是小山坡和金色的稻田 。 一番打听之后 , 才知道此时没有什么西溪园区 。 没办法 , 硬着头皮去滨江上班 , 一刷卡 , 才发现我并不是我 , 我现在的身份是淘宝数据库团队的核心成员 。
此时全国上下在迎接着奥运的到来 , 一片祥和 。 淘宝网成交额突破400亿 , 日活用户达1000万 。 工程师们都非常兴奋 , 磨刀霍霍 。 但是也遇到了棘手的问题 。
一 分析当前的现状
1.1 现有业务背景
淘宝网给中国市场提供了全新的购物形式 , 在互联网的大潮下 , 用户暴增 , 成交量暴增 , 公司持续飞速增长 。
截止2007年 , 淘宝网成交额突破400亿 , 日活用户达1000万 。

全天有1000万用户访问淘宝 。 而绝大多数用户都是在网上逛 , 什么也不买 。
1.2 当前的问题
1.2.1 用户体验与反馈
用户普遍反馈逛淘宝卡顿 , 操作延迟特别明显 。
1.2.2 分析核心原因
大量的用户在浏览商品 , 并不下单 。 这个人数和场景的比例有20:1 。
说明:数据库模式事务 , 写操作会对表或者行加写锁 , 阻塞读操作 。
业务数据集中在一张表里 , 如user表 。 一张表里数据破几千万 。 查询一条数据需要好几秒(单表数据量太大) 。
说明:一张表数据提升 , 必然会导致检索变慢 ,这是必然事实 。 不论如何加索引或者优化都无法解决的 。
所有表集中在一个库里 , 所有库集中在一个机器里 。 数据库集中在一台机器上 , 动不动就说硬盘不够了(单机单库) 。
说明:所有业务共用一份物理机器资源 。 机器存在瓶颈:磁盘和CPU不够用且后期拓展性不佳 。
1.2.3 总结问题
20:1读写比例场景 。
单表单库数据量太大 。
小型机与单机场景 , 抗不住当前规模 。
大数据&云计算|作为数据库核心成员,如何让淘宝不卡顿?
本文插图
当前现状

二 我要做什么?
如何满足当前每天1000万用户逛淘宝的需求 , 且用户体验好(最基本要求:响应快) 。

如何满足未来有上亿用户的访问 , 甚至是同时访问 , 且用户体验好(最基本要求:响应快) 。
高筑墙 , 广积粮 , 积极做好准备 。
提炼核心:
提高数据库操作速度 。
同时能应对未来规模变化 。
三 我能做什么?
为实现以上两大目标 , 我能做什么?
3.1 提高数据库操作速度 , 通用方法
提炼常见的通用方法:
sql优化
排除语法问题 , 烂sql
下推优化
下推的目的:提前过滤数据 -&gt 减少网络传输、并行计算 。
提前过滤数据
小表驱动大表等
建立索引
查询频率高的热点字段
区分度高的(DISTINCT column_name)/COUNT(*) , 以主键为榜样(1/COUNT(*))
长度小
尽量能覆盖常用查询字段
注意索引失效的场景
分库分表
垂直分库分表
水平分库分表
读写分离
缓存的使用
等等 。
3.2 如何应对未来的持续变化?


稿源:(ZAKER汽车)

【】网址:http://www.shadafang.com/c/hn092Y452G2020.html

标题:大数据&云计算|作为数据库核心成员,如何让淘宝不卡顿?


上一篇:梅根·马克尔|梅根哈里真是勇者无畏啊,两人的不当言论再次引发多方不满

下一篇:奥斯本|痛心!又一主持人抢救无效去世,年仅45岁


人文

午间时刻《欢喜猎人》要播了吗?包贝尔贾玲再次合作,携手《欢喜密探》原班人马回归

阅读(35)

网剧《欢乐密探》就是一部不错的喜剧作品,而《欢乐猎人》是《欢乐密探》原班人马打造的第二部影视作品,所以有很多人都等着可以早点看到这部剧,然则在《欢乐猎人》拍了两年今后,一向没有播出,大年夜家也都等得异常焦急。不过,有传言说《欢乐猎人》这部电...

人文

格萨尔|《藏地奇兵》石渠开机 穿越藏地最后秘境热血探险

阅读(15)

由沃星影业、拉近影业、拉近沃星影业出品,成都影视硅谷集团、青岛东望影业联合出品的电影《藏地奇兵》于10月12日在四川石渠正式开机。该片由著名演员秦岚担任出品人兼艺术总监,张楚晗担任总制片人,张著麟、李希杰、温子迅执导,魏千翔、屈菁菁、邢瀚卿、吴...

人文

Tina|卫衣 + 半裙,照着穿好看爆了 !

阅读(21)

卫衣+半裙的搭配,属实是显胖王者,它要是称第二,那也是太谦虚了。当你挑选的裙子也很宽松时,穿上它就是灾难本身,转过身去看背后,Tina都想落泪,这五五分的身材是真实存在的吗?明明是同款卫衣,却比旁边穿裤子的look,腿长短了好多!不过小可爱们不用害...

人文

#quot#六旬男子足底黑痣会长大 检查发现是恶性肿瘤

阅读(10)

本年60 岁的陈师长教师比来有些忧?。本来,三年前他的左脚底足跟邻近长了一颗黄豆大年夜小、凸起的黑" 痣"。一年前开端,这颗" 痣" 有逐渐长大年夜之势,伴有些许压痛,于是陈师长教师按期到家邻近的修脚店把这颗" 痣" 磨平,...

人文

凤眼看房长沙|长三角多市出台调控政策 房企拿地热情不减

阅读(17)

回望过去一段时间,不仅是宁波,整个长三角已是房企必争之地。今年融资环境稍有宽松后,大小房企集体携金杀往长三角,土拍市场屡现高溢价,即便多地出手调控,仍有地王出现。楼市也在市场情绪助推下迅速反弹。“近年来三四线城市房产饱和、风险积聚,标杆企业...

人文

时尚探究社成都街拍:图集分享

阅读(43)

这个夏天阴阳色也太好看了吧~又个性,又显白的发色,就算搭配学院风也一点都不突兀。一看就是经常健身的小姐姐,这个身材曲线真的羡慕了~不要太美~...

人文

年薪制| 年薪制要来了吗?事业单位职工收入或将有大变化!

阅读(22)

近日,人社部组织实施人才服务专项行动,推进高校、科研院所薪酬制度改革。落实高层次人才工资分配激励政策,鼓励事业单位对高层次人才实行年薪制、协议工资制、项目工资等灵活多样的分配形式。鼓励事业单位对高层次人才实行年薪制、协议工资制、项目工资等灵...

人文

社会【观点】医改进程迟缓的原因及破解之策

阅读(20)

1供给侧改革进展迟缓大年夜实际来看,医疗供给侧改革在社会办医、医务人员自由执业、公立病院去行政化三个方面并没有太多本质性的进展,这也是我国医改未能有大年夜冲破的重要原因。1.1社会办医成长迟缓成长社会办医,不仅是实际须要,也是一种策略。在公立病...

人文

怪我碍你|十月再见,十一月你好,释然过往,砥砺向前

阅读(12)

逝去的时光中,总有一些东西会在心中成为永恒,那么,就铭记那些美好吧,心中有阳光,充满正能量,微笑着面对生活;也会有些事情成为遗憾,有些心愿没能实现,但也不要气馁,更不要抱怨,笑看过往,努力过好当下和明天,不胡思乱想,不执着于过去。愿所有的真...