分片:数据量大(分库分表等)
分片算法:范围分片,Hash分片
并发高:新增实例(业务维度拆分,同业务拆分)
高可用HA:主从复制
状态不一致:复制状态机技术(快照+日志)
Grousip: 流言协议
冗余:增加副本
去中心化设计:无主模式
版本号技术:无主模式选举 Redis
Raft: 复制状态机保证数据可靠,心跳和选举保证高可用
半数投票: 奇数副本,半数投票通过当leader
NWR: W+R>N
MysqL:读写分离、分库分表、归档、复制(同步复制、异步复制、半同步复制: 至少保证复制1台机器)、备份安全(全量备份与增量备份)、不停服数据迁移
分布式ID:SNowflake,Twitter分布式ID算法
订单号服务:日志记载主键防重,三方对账
CAS: 比较交换,避免ABA问题
Cache: Read/Write Through, Cache Aside
分片:Hash分片
高可用HA: 主从复制,复制状态机理论
Redis集群不适合大规模集群原因:Grousip协议,主挂了从节点版本号选举技术 =》代理模式&客户端寻址模式
ES: 倒排索引,索引(表),文档 (行)、字段(列)、Mapping
分布式文件系统: 元数据、分块、版本号选举(主挂了,从节点选举)、整块复制
海量数据:Kafak、HDFS、实时流计算(Flink,Storm)、离线批计算(MapReduce、Spark)
< GB: MysqL 10GB: 优先考虑ES, 后考虑HBase等 TB: HDFS
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。