傻大方


首页 > 人文 >

大数据&云计算|作为数据库核心成员,如何让淘宝不卡顿?( 三 )



按关键词阅读:


将sql语法树转化为sql语句 。
4.2 分表分库
单库单表的问题:
几年前 , 业务简单 , 应用的数据比较少 , 表结构也不复杂 。 只有一个数据库 , 数据库中的表是一张完整的表 。 而到了今天 , 2007年了 , 业务复杂起来了 , 数据量爆增 , 单表数据破千万甚至上亿条 , 一条DML语句 , 死慢死慢的 。 这种情况下加索引已不再有显著的效果 。
这个时候 , 数据库效率瓶颈不是靠加索引 , sql优化能搞定的 。
正确出路:分表分库 , 通过将表拆分 , 来降低单表数据量 , 进而提高数据库操作效率 。
分表分为:
垂直分表
水平分表
分库分为:
垂直分库
水平分库
由于TDDL不参与业务 , 而垂直分库分表是强业务相关的 , 因此TDDL暂不参与垂直分库分表 , 只在水平分库分表方向上努力 。
4.2.1 垂直分表

垂直拆分是将一张表垂直拆成多个表 。 往往是把常用的列独立成一张主表 。 不常用的列以及特别长的列拆分成另一张拓展表 。
大数据&云计算|作为数据库核心成员,如何让淘宝不卡顿?
本文插图
简单垂直分表举例
核心要素:
冷热分离 , 把常用的列放在一个表 , 不常用的放在一个表 。
大字段列独立存放 , 如描述信息 。
关联关系的列紧密的放在一起 。
它带来的提升是:
为了避免IO争抢并减少锁表的几率 , 查看详情的用户与商品信息浏览互不影响 。
充分发挥热门数据的操作效率 , 商品信息的操作的高效率不会被商品描述的低效率所拖累 。
4.2.2 水平分表
水平分表是在同一个数据库内 , 把同一个表的数据按一定规则拆到多个表中 。
大数据&云计算|作为数据库核心成员,如何让淘宝不卡顿?
本文插图
简单水平分表举例

简单点的技巧:按照枚举类型区分 。
作用总结:
库内的水平分表 , 解决了单一表数据量过大的问题 , 分出来的小表中只包含一部分数据 , 从而使得单个表的数据量变小 , 提高检索性能 。
避免IO争抢并减少锁表的几率 。
4.2.3 垂直分库
垂直分库是指按照业务将表进行分类 , 分布到不同的数据库上面 , 每个库可以放在不同的服务器上 , 它的核心理念是专库专用 。

大数据&云计算|作为数据库核心成员,如何让淘宝不卡顿?
本文插图
垂直分库

作用总结:
解决业务层面的耦合 , 业务清晰 。
高并发场景下 , 垂直分库一定程度的提升IO、数据库连接数、降低单机硬件资源的瓶颈 。
能对不同业务的数据进行分级管理、维护、监控、扩展等 。
垂直分库通过将表按业务分类 , 然后分布在不同数据库 , 并且可以将这些数据库部署在不同服务器上 , 从而达到多个服务器共同分摊压力的效果 , 但是依然没有解决单表数据量过大的问题 。
4.2.4 水平分库(TDDL 核心)
水平分库是把同一个表的数据按一定规则拆到不同的数据库中 , 每个库可以放在不同的服务器上 。
大数据&云计算|作为数据库核心成员,如何让淘宝不卡顿?
本文插图
水平分库

作用总结:
解决了单库单表数据量过大的问题 , 理论上解决了高并发的性能瓶颈 。
水平分库核心要解决的问题:
如何知道数据在哪个库里?- 路由问题
结果合并
全局唯一主键ID
分布式事务(暂时不支持)
4.2.5 水平分库——问题解决
(1)自动路由算法
sql转发:在水平拆分后 , 数据被分散到多张表里 。 原来的一个sql需要拆解 , 进行转发路由 。
例:


稿源:(ZAKER汽车)

【】网址:http://www.shadafang.com/c/hn092Y452G2020.html

标题:大数据&云计算|作为数据库核心成员,如何让淘宝不卡顿?( 三 )


上一篇:梅根·马克尔|梅根哈里真是勇者无畏啊,两人的不当言论再次引发多方不满

下一篇:奥斯本|痛心!又一主持人抢救无效去世,年仅45岁


人文

午间时刻《欢喜猎人》要播了吗?包贝尔贾玲再次合作,携手《欢喜密探》原班人马回归

阅读(35)

网剧《欢乐密探》就是一部不错的喜剧作品,而《欢乐猎人》是《欢乐密探》原班人马打造的第二部影视作品,所以有很多人都等着可以早点看到这部剧,然则在《欢乐猎人》拍了两年今后,一向没有播出,大年夜家也都等得异常焦急。不过,有传言说《欢乐猎人》这部电...

人文

格萨尔|《藏地奇兵》石渠开机 穿越藏地最后秘境热血探险

阅读(15)

由沃星影业、拉近影业、拉近沃星影业出品,成都影视硅谷集团、青岛东望影业联合出品的电影《藏地奇兵》于10月12日在四川石渠正式开机。该片由著名演员秦岚担任出品人兼艺术总监,张楚晗担任总制片人,张著麟、李希杰、温子迅执导,魏千翔、屈菁菁、邢瀚卿、吴...

人文

Tina|卫衣 + 半裙,照着穿好看爆了 !

阅读(21)

卫衣+半裙的搭配,属实是显胖王者,它要是称第二,那也是太谦虚了。当你挑选的裙子也很宽松时,穿上它就是灾难本身,转过身去看背后,Tina都想落泪,这五五分的身材是真实存在的吗?明明是同款卫衣,却比旁边穿裤子的look,腿长短了好多!不过小可爱们不用害...

人文

#quot#六旬男子足底黑痣会长大 检查发现是恶性肿瘤

阅读(10)

本年60 岁的陈师长教师比来有些忧?。本来,三年前他的左脚底足跟邻近长了一颗黄豆大年夜小、凸起的黑" 痣"。一年前开端,这颗" 痣" 有逐渐长大年夜之势,伴有些许压痛,于是陈师长教师按期到家邻近的修脚店把这颗" 痣" 磨平,...

人文

凤眼看房长沙|长三角多市出台调控政策 房企拿地热情不减

阅读(17)

回望过去一段时间,不仅是宁波,整个长三角已是房企必争之地。今年融资环境稍有宽松后,大小房企集体携金杀往长三角,土拍市场屡现高溢价,即便多地出手调控,仍有地王出现。楼市也在市场情绪助推下迅速反弹。“近年来三四线城市房产饱和、风险积聚,标杆企业...

人文

时尚探究社成都街拍:图集分享

阅读(43)

这个夏天阴阳色也太好看了吧~又个性,又显白的发色,就算搭配学院风也一点都不突兀。一看就是经常健身的小姐姐,这个身材曲线真的羡慕了~不要太美~...

人文

年薪制| 年薪制要来了吗?事业单位职工收入或将有大变化!

阅读(22)

近日,人社部组织实施人才服务专项行动,推进高校、科研院所薪酬制度改革。落实高层次人才工资分配激励政策,鼓励事业单位对高层次人才实行年薪制、协议工资制、项目工资等灵活多样的分配形式。鼓励事业单位对高层次人才实行年薪制、协议工资制、项目工资等灵...

人文

社会【观点】医改进程迟缓的原因及破解之策

阅读(20)

1供给侧改革进展迟缓大年夜实际来看,医疗供给侧改革在社会办医、医务人员自由执业、公立病院去行政化三个方面并没有太多本质性的进展,这也是我国医改未能有大年夜冲破的重要原因。1.1社会办医成长迟缓成长社会办医,不仅是实际须要,也是一种策略。在公立病...

人文

怪我碍你|十月再见,十一月你好,释然过往,砥砺向前

阅读(12)

逝去的时光中,总有一些东西会在心中成为永恒,那么,就铭记那些美好吧,心中有阳光,充满正能量,微笑着面对生活;也会有些事情成为遗憾,有些心愿没能实现,但也不要气馁,更不要抱怨,笑看过往,努力过好当下和明天,不胡思乱想,不执着于过去。愿所有的真...