阅读 156

NAS迁移至OSS,目录迁移是顺序、随机判断

一、迁移场景

NAS目录迁移至OSS BUCKET,客户侧有问到NAS子目录的迁移顺序是顺序还是随机的

二、问题分析

1、问题分析

从经验来看,此类多线程的任务分配具有随机性,目录迁移还是与任务分配紧密相关。迁移过程中如果使用手工查看方式可能不足够支撑此类问题的确认。需要最终借助OSS文件生成的时间戳来进行判断
1) NAS目录结构

ls /kldjf
ccdp1 ccdp2 ccdp3 ccdp4

2) OSS目录结构
NAS迁移至OSS,目录迁移是顺序、随机判断

2、ossutil使用方法

wget http://gosspublic.alicdn.com/ossutil/1.7.1/ossutil64 
chmod 755 ossutil64
./ossutil64 config
输入endpoint ak sk

确认有执行权限
ossutil ls oss://kldjf | head -n 10

3、oss文件时间戳确认

针对不同目录进行时间段的统计,此处只统计2个:

 ./ossutil64 ls oss://kldjf/ccdp1 | awk {'print $2'} | sort | head -n 6
 ./ossutil64 ls oss://kldjf/ccdp1 | awk {'print $2'} | sort | tail -n 6

 ./ossutil64 ls oss://kldjf/ccdp2 | awk {'print $2'} | sort | head -n 6
 ./ossutil64 ls oss://kldjf/ccdp2 | awk {'print $2'} | sort | tail -n 6

 时间段:
 ccdp1 时间段为: 10:00-11:30
 ccdp2 时间段为: 11:00-12:30

三、结论

结论: 目录ccdp1与目录ccdp2内文件有时间交叉,说明迁移并不是完全顺序执行(按目录串行执行),按一定的前后顺序并行进行。

©著作权归作者所有:来自51CTO博客作者X糊涂仙儿的原创作品,如需转载,请注明出处,否则将追究法律责任


文章分类
后端
版权声明:本站是系统测试站点,无实际运营。本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 XXXXXXo@163.com 举报,一经查实,本站将立刻删除。
相关推荐