GPFZC

十年饮冰，难凉热血 ——郭鹏发

pandas保存效率/to_sql/to_csv/to_excel保存效率大提升

2020/10/28

443

# 保存表
    base_table.to_sql(name="mrp_listing_stat",con=sqlvalue("write","wldb"),index=False,if_exists="append",chunksize=100000)

以上关键是chunksize参数；该参数意思是一次导入行数；默认不填的话是全部一次导入；如果表很大的话，会占用非常大的内存，导致任务中断；
加上chunksize=100000是表示该表分成多次导入；一次十万行导入，导完为止；可以提升效率，减少内存占用；