本文介绍如何使用数据传输服务DTS(Data Transmission Service),将本地自建的MongoDB数据库数据迁移至云数据库MongoDB中。DTS支持全量数据迁移及增量数据迁移MongoDB数据库,使用增量数据迁移可以实现在本地应用不停服的情况下,平滑地完成MongoDB数据库的迁移上云工作。
前提条件
- 本文操作适用于副本集架构的本地MongoDB数据库。
分片集群架构请参考本地MongoDB分片集群数据库迁移上云或使用 mongodump 和 mongorestore 工具迁移数据库。
单节点架构请参考使用DTS工具迁移单节点架构的自建MongoDB数据库上云。
- 本地MongoDB数据库的服务端口已开放至公网。
- 本地MongoDB数据库版本为3.0、3.2、3.4或3.6版本,暂不支持4.0版本。4.0版本的本地MongoDB数据库请参考使用DTS工具迁移单节点架构的自建MongoDB数据库上云。
- 阿里云MongoDB实例的存储空间须大于本地MongoDB数据库占用的存储空间。
注意事项
- 为避免影响您的正常业务使用,请在业务低峰期进行数据迁移。
- 阿里云MongoDB实例支持的数据库版本为3.2、3.4和4.0版本。
- 阿里云MongoDB实例支持的存储引擎为 WiredTiger、RocksDB 和 TerarkDB。
- 不支持迁移admin数据库,即使被选择为迁移对象,该库中的数据也不会被迁移。
- config数据库属于系统内部数据库,如无特殊需求,请勿迁移config数据库。
费用说明
迁移类型 | 链路配置费用 | 公网流量费用 |
---|---|---|
全量数据迁移 | 不收取 | 不收取 |
增量数据迁移 | 收取,费用详情请参考DTS产品定价。 | 不收取 |
迁移类型说明
- 全量数据迁移:将本地MongoDB数据库迁移对象的存量数据,全部迁移到目标MongoDB实例数据库中。
- 支持database迁移。
- 支持collection迁移。
- 支持index迁移。
- 增量数据迁移:在全量迁移的基础上,将本地MongoDB数据库的增量更新数据同步到目标MongoDB实例数据库中。
- 支持database新建、删除操作的同步。
- 支持document新增、删除、更新操作的同步。
- 支持collection新建、删除操作的同步。
- 支持index新建、删除操作的同步。
迁移账号权限要求
使用DTS迁移MongoDB数据时,选用不同的迁移类型所需的账号权限不同,具体如下。
数据迁移对象 | 全量数据迁移 | 增量数据迁移 |
---|---|---|
本地MongoDB数据库 | read |
|
阿里云MongoDB数据库 | readWrite | readWrite |
说明
- 关于MongoDB云数据库迁移账号的创建及授权操作请参考使用DMS管理MongoDB数据库用户。
- 关于本地MongoDB数据库迁移账号的创建及授权操作请参考MongoDB Create User说明。
MongoDB数据迁移上云的操作步骤
- 登录DTS控制台。
- 在左侧导航栏,单击数据迁移。
- 单击数据迁移页面右侧的创建迁移任务。
- 配置迁移任务的源库及目标库信息。
配置选项 配置说明 任务名称 - DTS为每个任务自动生成一个任务名称,任务名称没有唯一性要求。
- 您可以修改任务名称,建议为任务配置具有业务意义的名称,便于后续的任务识别。
源实例信息 - 实例类型:选择有公网IP的自建数据库。
- 数据库类型:选择MongoDB。
- 主机名或IP地址:填入本地MongoDB数据库的访问地址,这个地址必须为公网地址。
- 端口:填入本地MongoDB数据库的服务端口。
- 数据库名称:填入本地MongoDB数据库中,用于账号验证的鉴权数据库名称。
- 数据库账号:填入本地MongoDB数据库的连接账号,权限要求请参见迁移账号权限要求。
- 数据库密码:填入本地MongoDB数据库账号对应的密码。
目标实例信息 - 实例类型:选择MongoDB实例。
- 实例地区:选择目标MongoDB实例所在地域。
- MongoDB实例ID:选择目标MongoDB实例的实例ID。
- 数据库名称:填入目标MongoDB实例中,用于账号验证的鉴权数据库名称,默认为admin。
- 数据库账号:填入连接目标MongoDB实例数据库的账号,权限要求请参见迁移账号权限要求。
- 数据库密码:填入连接目标MongoDB实例数据库账号对应的密码。
- 配置完成后,单击页面右下角的授权白名单并进入下一步。
说明
- 此步骤会将DTS服务器的IP地址自动添加到目标MongoDB实例的白名单中,用于保障DTS服务器能够正常连接目标MongoDB实例。迁移完成后如不再需要可手动删除,详情请参考白名单设置。
- 如果您的本地MongoDB数据库进行了白名单安全设置,您需要在源库信息栏目中,单击获取DTS IP段来获取到DTS服务器的IP地址,并将获取到的IP地址加入本地MongoDB数据库的白名单安全设置中。
- 选择迁移对象及迁移类型。
配置选项 配置说明 迁移类型 - 如果只需要进行全量迁移,那么迁移类型选择全量数据迁移。
说明 为保障数据一致性,全量数据迁移期间请勿在本地MongoDB数据库中写入新的数据。
- 如果需要进行不停机迁移,迁移类型同时选择全量数据迁移和增量数据迁移。
迁移对象 - 在迁移对象框中将想要迁移的数据库选中,单击
移动到已选择对象框。
说明- 不支持迁移admin数据库,即使被选择为迁移对象,该库中的数据也不会被迁移。
- config数据库属于系统内部数据库,如无特殊需求,请勿迁移config数据库。
- 迁移对象选择的粒度可以为:库、collection/function 两个粒度。
- 默认情况下,迁移对象迁移到MongoDB实例后,对象名跟本地MongoDB数据库一致。
说明 如果您迁移的对象在本地MongoDB数据库跟目标实例上名称不同,那么需要使用DTS提供的对象名映射功能。使用方法请参考 库表列映射。
- 如果只需要进行全量迁移,那么迁移类型选择全量数据迁移。
- 上述配置完成后,单击页面右下角的预检查并启动。
说明
- 在迁移任务正式启动之前,会先进行预检查。只有预检查通过后,才能成功启动迁移任务。
- 如果预检查失败,单击具体检查项后的
,查看具体的失败详情。根据失败原因修复后,重新进行预检查。
- 预检查通过后,单击下一步。
- 在购买配置确认页面,选择链路规格并勾选数据传输(按量付费)服务条款。
- 单击购买并启动,迁移任务正式开始。
- 全量数据迁移
等待迁移任务完成即可,迁移任务会自动停止。
- 增量数据迁移
迁移任务不会自动结束,观察迁移任务的状态显示为 增量迁移无延迟的状态时,将源库停写几分钟,等待增量迁移再次进入 增量迁移无延迟状态,手动停止迁移任务。
- 全量数据迁移
检查校验数据无误后即可将业务切换至云数据库MongoDB实例。