guopengfa
发布于 2020-10-28 / 470 阅读 / 0 评论 / 0 点赞

pandas保存效率/to_sql/to_csv/to_excel保存效率大提升

# 保存表
    base_table.to_sql(name="mrp_listing_stat",con=sqlvalue("write","wldb"),index=False,if_exists="append",chunksize=100000)
  • 以上关键是chunksize参数;该参数意思是一次导入行数;默认不填的话是全部一次导入;如果表很大的话,会占用非常大的内存,导致任务中断;
  • 加上chunksize=100000是表示该表分成多次导入;一次十万行导入,导完为止;可以提升效率,减少内存占用;

评论