NAS迁移至OSS,目录迁移是顺序、随机判断
一、迁移场景
NAS目录迁移至OSS BUCKET,客户侧有问到NAS子目录的迁移顺序是顺序还是随机的
二、问题分析
1、问题分析
从经验来看,此类多线程的任务分配具有随机性,目录迁移还是与任务分配紧密相关。迁移过程中如果使用手工查看方式可能不足够支撑此类问题的确认。需要最终借助OSS文件生成的时间戳来进行判断
1) NAS目录结构
ls /kldjf ccdp1 ccdp2 ccdp3 ccdp4
2) OSS目录结构
2、ossutil使用方法
wget http://gosspublic.alicdn.com/ossutil/1.7.1/ossutil64 chmod 755 ossutil64 ./ossutil64 config 输入endpoint ak sk 确认有执行权限 ossutil ls oss://kldjf | head -n 10
3、oss文件时间戳确认
针对不同目录进行时间段的统计,此处只统计2个:
./ossutil64 ls oss://kldjf/ccdp1 | awk {'print $2'} | sort | head -n 6 ./ossutil64 ls oss://kldjf/ccdp1 | awk {'print $2'} | sort | tail -n 6 ./ossutil64 ls oss://kldjf/ccdp2 | awk {'print $2'} | sort | head -n 6 ./ossutil64 ls oss://kldjf/ccdp2 | awk {'print $2'} | sort | tail -n 6 时间段: ccdp1 时间段为: 10:00-11:30 ccdp2 时间段为: 11:00-12:30
三、结论
结论: 目录ccdp1与目录ccdp2内文件有时间交叉,说明迁移并不是完全顺序执行(按目录串行执行),按一定的前后顺序并行进行。
©著作权归作者所有:来自51CTO博客作者X糊涂仙儿的原创作品,如需转载,请注明出处,否则将追究法律责任