登陆

忘记密码

shell脚本优化求助

回复 收藏
       我近期做的工作是历史数据归档，需要把客户的历史数据从db2中通过export的方式卸出来，存储到大数据平台中。由于客户的表的数量较多，且区分子司，所以卸出一天的数据需要执行5W条sql，测试的结果卸数的时间是一天的数据需要4小时可以卸出来，目前需要卸出的数据为10年左右，卸数的周期很长，为了减少卸的周期，我想尽可能的优化一下自己卸数的脚本。
0 赞
2016-07-27 23:18 举报

没有找到相关结果

    已邀请:
    0

    阿铭 管理员

    赞同来自:

    我的思路是，写多个脚本并行导出数据。 比如把所有要导出的表按时间划分多个区间，然后针对每个区间一个脚本，同时去导出。
    2016-07-28 11:34 分享
    0

    浣灬熊

    赞同来自:

    谢谢铭哥，我目前的做法是把表分成了20批，每次导出一周的数据，每次执行5个脚本，也考虑到磁盘空间的问题，不会一次导出太多的数据。
    2016-07-28 23:21 分享
    为什么被折叠? 0 个回复被折叠

    回复帖子，请先登录或注册

    退出全屏模式 全屏模式 回复
    评分
    可选评分理由：

    Copyright © 2024 - 猿课, All Rights Reserved