阅读 242

Azure 解决方案:Azcopy和CRON使用场景

51CTO 博客地址:https://blog.51cto.com/14669127

客户需求:作为Azure admin,你正在review如下的Azure体系结构:

image.png

估算的体系结构每月成本显示在如下的成本表中:
image.png

日志文件是由用户活动生成到Apache Web服务器的,日志文件格式一致,每天大约产生1GB的日志,Microsoft Power BI用于显示每周的用户活动报告,你需要提供一个解决方案,以在维护结构功能的同时最小化成本。

解决方案解析:

Azure Data Factory可以使用数据流活动来转换Azure Blob存储中的数据,而Azcopy是一个命令行工具,可以借助该工具,使用简单的命令将数据复制到Azure Blob StorageAzure文件或者从其中复制出数据,这些命令旨在实现最佳性能,同时使用Azcopy可以在文件系统和存储账户之间或者在存储中户之间复制数据,Azcopy可以用来将数据从本地复制到存储账户。

如果定期执行数据复制,那么需要创建一个复制的计划任务,比如创建用于运行Azcopy的命令脚本的计划任务或者Cron作业,用来标识新的本地数据,并按特定时间间隔将其上传到云存储中。

所以为了维护结构功能的同时最小化成本,可以在现有的架构上使用Azcopy+CRON计划作业的方式取代Azure Data Factory

相关资料说明:

·       Synchronize with Azure Blob Storage by using Azcopy

·       Configure, Optimize and troubleshoot Azcopy

·       Copy and transform data in Azure Blob storage by using Azure Data Factory


©著作权归作者所有:来自51CTO博客作者Nancy198305的原创作品,如需转载,请与作者联系,否则将追究法律责任


文章分类
后端
版权声明:本站是系统测试站点,无实际运营。本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 XXXXXXo@163.com 举报,一经查实,本站将立刻删除。
相关推荐