智能云域名资讯|域名门户|域名新闻中心

新闻资讯频道
云计算领域最新资讯

如何处理同步文件名加后缀问题

服务器


OSS/FTP/SFTP/HDFS同步后文件名加后缀的原因:

数据集成同步数据到OSS/FTP/SFTP/HDFS时将并行多线程写入,由于对应文件系统限制,只能生成多个不重名文件才可以保证同步任务的并发运行,所以在每个文件后面加上一串随机字符串防止文件名冲突。

解决方法

目前只有OSS插件支持并发写入单个文件并且不会在文件后面加后缀,_FTP/SFTP/HDFS插件不支持_

OSS插件操作方法

在[脚本模式]增加如下配置:"writeSingleObject": true

yuq1.png

特别提醒:如果您自定义资源组上面设置上面的参数不生效是因为您datax版本比较老建议升级版本。


纵横数据面向全国提供域名注册、虚拟主机、云服务器、服务器托管与租用,如需了解,请加QQ: 171356849 咨询,谢谢!


声明:文章来自网络转载,若无意中有侵犯您权益的信息,请联系我们,我们会在第一时间删除!

未经允许不得转载,或转载时需注明出处:纵横云资讯|云资讯门户|纵横云新闻中心 » 如何处理同步文件名加后缀问题
分享到: 更多 ()

发表回复