ossimport有单机模式和分布式模式两种部署方式。

• 对于小于30TB的小规模数据迁移，单机模式即可完成。
• 对于大规模的数据迁移，请使用分布式模式。

ossimport是基于master-worker的分布式架构。Worker有限流功能，通过修改配置文件sys.properties的配置项workerMaxThroughput(KB/s)实现，修改后需要重启服务才能生效。

分布式部署情况下，需要修改每个Worker的$OSS_IMPORT_WORK_DIR/conf下的sys.properties，然后重启服务。

要实现分时限流，可通过crontab定时修改sys.properties，然后重启服务生效。

Worker列表请在提交任务前确定，目前不支持动态添加。

ossimport支持只校验数据不迁移数据，设置任务配置文件job.cfg或local_job.cfg的配置项jobType为audit而不是import，其它配置与数据迁移相同。

数据迁移增量模式，是指数据迁移任务启动后，先进行一次全量迁移，每隔一段时间自动的进行增量数据迁移。第一次数据迁移任务为全量迁移，提交任务后立即启动；后面的增量数据迁移每隔一个周期启动一次。数据迁移增量模式适用于数据备份和数据同步。

增量模式有两个配置项：

• job.cfg 中的isIncremental ，表示是否打开增量迁移模式， true表示打开增量模式， false表示关闭增量模式，默认关闭。
• job.cfg 中的incrementalModeInterval，表示增量模式下的同步间隔，即增量数据迁移的间隔周期，单位秒。isIncremental=true时有效。可配置的最小值为900秒 ，不建议配置成小于3600秒的值，会浪费大量请求，造成额外的系统开销。

迁移文件的过滤条件，即只迁移满足特定条件的文件。ossimport支持指定前缀和最后修改时间：

• job.cfg 中的 srcPrefix，用来指定迁移文件的前缀，默认为空。
  • 如果srcType=local，填写本地目录，需要完整路径，以/进行分割并且以/结尾，如c:/example/或/data/example/。
  • 如果srcType为oss、qiniu、bos、ks3、youpai、s3，则为待同步object的前缀，不包括bucket名称，如data/to/oss/。迁移所有文件时srcPrefix设置为空。
• job.cfg 中的importSince，用来指定迁移文件的最后修改时间，单位秒。importSince为Unix时间戳，即自1970年1月1日UTC零点以来的秒数，通过命令date +%s获取；默认值0，表示迁移全部数据。增量模式下只对第一次全量迁移有效，非增量模式对整个迁移任务有效。
  • 如果文件的最后修改(LastModified Time)在importSince之前，文件不被迁移。
  • 如果文件的最后修改(LastModified Time)在importSince之后，文件将被迁移。

以下步骤可以完成从第三方存储到OSS的无缝切换：

1. 全量迁移数据，此时业务仍在第三方存储上，记下数据迁移的开始时间 T1，注意该时间为 Unix时间戳，即自1970年1月1日UTC零点以来的秒数，通过命令date +%s获取。
2. 打开OSS镜像回源功能，数据迁移完成后，请在 OSS控制台设置服务Bucket的镜像回源功能，回源地址为第三方存储。
3. 读写切换到OSS，此时 T1 前的数据从OSS读取， T1 后的数据利用镜像回源从第三方服务读取，新数据完全写入OSS。
4. 增量数据迁移，增量数据迁移任务的配置文件( job.cfg或local_job.cfg )的配置项importSince=T1 ，增量数据迁移完成的时间为 T2。
   说明 增量数据迁移，并非数据迁移的增量模式。
5. 删除第三方存储， T2 后，您业务的所有的读写都在OSS上，第三方存储只是一份历史数据，您可以根据需要决定保留或删除。ossimport负责数据的迁移和校验，不会删除任何数据。

本地数据迁移到OSS的工具选择：

• 对于小于 30TB 的数据从本地文件或可以挂载到本地文件系统的迁移情况，推荐使用OssUtil，该工具简单方便，OssUtil支持文件级别的增量上传，通过-u/--update和--snapshot-path 选项实现，详细说明请使用ossutil help cp查看。
• 大规模数据迁移，请使用分布式版本的ossimport。
  说明 本地数据的增量迁移时，文件系统某些操作不会修改文件的最后修改时间，比如 Windows 的 cp、mv，Linux 的 mv、rsync带 -t或 -a选项，这些操作的数据修改都不会被检测到，也不会同步到OSS。

• 什么时候使用ossimport：
  • 不同区域间的OSS数据同步，推荐使用跨区域复制功能，该功能请在控制台上设置。
  • 由于安全原因，没有开通跨区域复制的地域，可以使用ossimport迁移或备份数据。
  • 同一区域内，不同账号、不同Bucket的数据迁移。
  • OSS直接的数据迁移，推荐使用阿里云内网，即使用ECS、OSS的域名带internal。
• OSS直接数据迁移收费：
  • 如果使用了带internal的域名，不会产生流量费用，只有请求和存储费用。
  • 如果没有带internal的域名，会产生流量费用。
• 不推荐使用场景：
  • 开通了跨区域复制服务的地域之间的数据同步。
  • 利用增量模式在OSS之间同步文件修改操作，ossimport只能同步文件的修改操作(put/apppend/multipart)，不能同步读取和删除操作，数据同步的及时性没有具体的 SLA 保证， 请慎重选择。推荐使用上传回调或事件通知。

对于从云端（非本地）迁移到OSS，且带宽资源不是很充足的用户，建议购买按量付费的ECS进行迁移，ECS配置如下：

• 付费方式选择按量付费。
• 地域选择OSS对应的地域。
• 带宽峰值选100M。

在配置迁移服务时，将targetDomain设为带internal的内网域名；如果源端也是OSS，将srcDomain也设为带internal的内网域名，可以省掉从OSS源端下载的流量费，仅收取OSS访问次数的费用。

HTTP数据迁移任务需要配置的参数：

• job.cfg 中的srcType配置为srcType=http ，请注意字符大小写。
• job.cfg 中的httpListFilePath，指定的HTTP地址列表文件， 请使用绝对路径指定，如c:/example/http.list、/root/example/http.list 。一个完整的HTTP链接是127.0.0.1/aa/bb.jpg，不同的切分方法最后会导致上传到oss的路径会不一样：

  http://127.0.0.1/aa/   bb.jpg      # 第一行
    http://127.0.0.1/      aa/bb.jpg   # 第二行

  第一行的文件导入到OSS后的的文件名为destPrefix + bb.jpg，第二行的文件名为destPrefix + aa/bb.jpg。 httpPrefixColumn 指定域名列，默认第一列，如上述的127.0.0.1/aa/或127.0.0.1/。 relativePathColumn 指定OSS中文件名，如上述的 bb.jpg或 aa/bb.jpg。 如果文件中有多列，如下：

  http://127.0.0.1/aa/   bb/cc dd/ee  ff.jpg

  配置应该如下： httpPrefixColumn=1 ， relativePathColumn=4 。
• job.cfg 中的destAccessKey 、 destSecretKey 、 destDomain 、 destBucket 等OSS的配置。

HTTP数据迁移子任务切分参数：

• taskObjectCountLimit ，每个 Task 最大的文件数，默认10000；
• taskObjectSizeLimit ， 每个 Task 最大数据量， HTTP数据迁移时该参数无效，原因是Master切分Task 时，如果每个HTTP文件都是从源地址上获取文件大小，每个文件都有一次HTTP请求开销，会影响子任务分配的效率，进而影响子任务的并发执行，降低迁移的效率。
• 域名，httpListFilePath 指定的文件中第一列，连续相同的域名任务按照taskObjectCountLimit的限制切分，连续不同的域名切分成不同的 Task，这种做法的目的是为了更好的复用连接。比如：

  http://mingdi-hz.oss-cn-hangzhou.aliyuncs.com/  import/test1.txt
    http://mingdi-hz.oss-cn-hangzhou.aliyuncs.com/  import/test2.txt
    http://mingdi-bj.oss-cn-beijing.aliyuncs.com/  import/test3.txt
    http://mingdi-bj.oss-cn-beijing.aliyuncs.com/  import/test4.txt

  taskObjectCountLimit大于2的情况下，会切分成2个Task ，而以下情况会切分成4个Task：

  http://mingdi-hz.oss-cn-hangzhou.aliyuncs.com/  import/test1.txt
    http://mingdi-bj.oss-cn-beijing.aliyuncs.com/  import/test3.txt
    http://mingdi-hz.oss-cn-hangzhou.aliyuncs.com/  import/test2.txt
    http://mingdi-bj.oss-cn-beijing.aliyuncs.com/  import/test4.txt

  所以 httpListFilePath指定的HTTP地址列表文件，请先按照域名排序。

以下参数的配置与网络流量有关：

• sys.properties中的workerTaskThreadNum ，表示Worker并发执行的任务数量，如果网络较差、并发大，会出现大量超时错误，此时应该降低并发量，修改该配置项，并重启服务。
• sys.properties中的workerMaxThroughput(KB/s) , 表示 Worker 流量的上限，如果业务需要限流，比如源端流控控制、网络限制等情况。该参数的值应该小于机器的最大网络流量，并根据业务需要评估。
• job.cfg 中的taskObjectCountLimit ，每个Task 最大的文件数，默认10000。该参数会影响Task的数量，数量过小无法实现有效的并发。
• job.cfg 中的taskObjectSizeLimit ， 每个Task最大数据量，默认1GB。该参数会影响Task的数量，数量过小无法实现有效的并发。
  说明

  • 配置文件参数请尽量在启动迁移前确定。
  • sys.properties中的参数修改后，重启迁移服务器后才能生效。
  • job.cfg任务提交后，任务的配置参数无法更改。