微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

后端存储技术方案汇总

分片:数据量大(分库分表等)

分片算法:范围分片,Hash分片

并发高:新增实例(业务维度拆分,同业务拆分)

高可用HA:主从复制

状态不一致:复制状态机技术(快照+日志)

Grousip:  流言协议

冗余:增加副本

去中心化设计:无主模式

版本号技术:无主模式选举 Redis

数据库:热点数据倾斜,文件存储

Raft: 复制状态机保证数据可靠,心跳和选举保证高可用

半数投票: 奇数副本,半数投票通过当leader

NWR: W+R>N

 

MysqL:读写分离、分库分表、归档、复制(同步复制、异步复制、半同步复制: 至少保证复制1台机器)、备份安全(全量备份与增量备份)、不停服数据迁移

分布式ID:SNowflake,Twitter分布式ID算法

订单号服务:日志记载主键防重,三方对账

CAS: 比较交换,避免ABA问题

 

Cache: Read/Write Through,  Cache Aside

分片:Hash分片

高可用HA: 主从复制,复制状态机理论 

Redis集群不适合大规模集群原因:Grousip协议,主挂了从节点版本号选举技术 =》代理模式&客户端寻址模式

Canal: 订阅binlog,同步Redis

 

ES:  倒排索引,索引(表),文档 (行)、字段(列)、Mapping

 

分布式文件系统: 元数据、分块、版本号选举(主挂了,从节点选举)、整块复制

海量数据:Kafak、HDFS、实时流计算(Flink,Storm)、离线批计算(MapReduce、Spark)

< GB:  MysqL    10GB:  优先考虑ES, 后考虑HBase等  TB: HDFS

 

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐