MongoDB：分片

介绍

MongoDB 分片（Sharding）是一种数据库架构模式，用于处理非常大的数据集和高吞吐量的工作负载。在分片集群中，数据被水平分割并分布在多个服务器上，这些服务器称为分片（Shards）。这种设计有助于提高可扩展性、性能和可用性。

分片架构

MongoDB的分片集群通常由以下几个部分组成：

1. 分片（Shard）：存储实际数据的节点。在一个分片集群中可以有多个分片，每个分片可以是单个MongoDB实例，也可以是一组MongoDB实例组成的副本集（从MongoDB 3.6开始，分片必须部署为副本集以提高容错性）。
2. 配置服务器（Config Server）：存储分片集群的元数据，如片段信息、分片键、分片的数据分布规则等。配置服务器通常部署为一个副本集，以确保元数据的高可用性。
3. 分片路由（Mongos）：作为客户端与分片集群之间的接口，接收客户端请求并路由到合适的分片。Mongos会根据配置服务器中的元数据确定请求应该发送到哪个分片，然后将结果聚合后返回给客户端。

分片键

• 定义：分片键是集合中的一个或多个字段，用于根据其值将数据划分为不同的片段。
• 选择原则：
  • 片键的选择决定了数据在分片间的分布和查询性能。
  • 如果写入负载较高，应选择分布均匀的片键，以避免某个分片负载过重。
  • 如果查询操作较多，且查询条件与片键相关，则查询性能会更高。
• 类型：MongoDB支持范围分片和哈希分片两种策略。范围分片根据片键的值范围划分数据，而哈希分片则先对片键的值进行哈希计算，然后根据哈希值划分数据。

分片操作

在MongoDB中，可以使用以下操作来配置和管理分片集群：

1. 启用分片：使用sh.enableSharding(database)命令启用数据库的分片功能。
2. 创建分片集合：使用sh.shardCollection(namespace, key)命令创建分片集合，其中namespace是集合的命名空间（即database.collection），key是分片键。
3. 添加分片：使用sh.addShard(shard)命令向分片集群添加新的分片。
4. 移除分片：使用sh.removeShard(shard)命令从分片集群中移除分片（注意，这通常是一个复杂的过程，需要确保数据迁移和平衡）。
5. 查看分片状态：使用sh.status()命令查看分片集群的状态和元数据。

数据迁移

在MongoDB中，当添加了新的分片时，数据迁移是一个关键步骤，以确保数据的均匀分布和系统的负载均衡。以下是数据迁移的具体过程和说明：

数据迁移的触发

1. 自动迁移：
   • MongoDB提供了一个内置的平衡器（Balancer），它负责监控分片集群中的数据分布情况。
   • 当平衡器检测到数据分布不均，或者当新分片被添加到集群中时，它会自动触发数据迁移操作。
2. 手动迁移：
   • 在某些情况下，管理员可能需要手动迁移数据块（Chunk）以优化数据分布或解决特定问题。
   • MongoDB提供了moveChunk命令，允许管理员手动迁移数据块。

数据迁移的流程

1. 检测不均衡：
   • 平衡器会定期检测分片集群中各个分片的数据块数量，并计算不均衡度。
   • 如果某个分片的数据块数量过多，而另一个分片的数据块数量过少，平衡器会认为这是不均衡状态。
2. 选择迁移源和目标：
   • 平衡器会选择一个数据块过多的分片作为迁移源，并选择一个数据块较少的分片作为迁移目标。
   • 选择迁移源和目标时，会考虑多个因素，如分片的负载情况、网络带宽等。
3. 迁移数据块：
   • 一旦确定了迁移源和目标，平衡器会发送moveChunk命令到迁移源分片。
   • 迁移源分片会开始将数据块中的数据迁移到目标分片。在迁移过程中，对该数据块的操作仍然会路由到迁移源分片。
4. 同步和验证：
   • 目标分片在接收到数据后，会创建所需的索引，并开始请求数据块的文档并接收数据的拷贝。
   • 在接收完数据块中最后一个文档后，目标分片会开始同步进程，以确保迁移过程中对迁移文档的修改也同步过来了。
   • 完全同步之后，迁移源分片会连接配置服务器，使用数据块的新位置更新集群元数据。
5. 清理旧数据：
   • 在修改完元数据后，如果迁移源分片上的数据块没有打开的游标了，迁移源分片就会删除这些文档的旧拷贝。
   • 注意：如果平衡器需要操作其他数据块迁移，它不会等待这些旧文档的删除完成，就可以立刻进行下一个数据块迁移操作。因为这些删除操作是异步的。

数据迁移的注意事项

1. 性能影响：
   • 数据迁移可能会对分片集群的性能产生一定影响，尤其是在大规模迁移时。
   • 因此，建议在低峰时段进行数据迁移，并监控集群的性能指标。
2. 数据一致性：
   • MongoDB的数据迁移机制是设计来确保数据一致性的。
   • 在迁移过程中，对迁移数据块的操作仍然会路由到迁移源分片，以确保数据的完整性和一致性。
3. 迁移策略：
   • 管理员可以根据实际需求调整平衡器的设置，如设置迁移窗口、限制迁移速率等。
   • 这些设置可以帮助优化数据迁移过程，减少对集群性能的影响。