ABEJA Tech Blog

中の人の興味のある情報を発信していきます

2017-02-20から1日間の記事一覧

pandas DataFrameを省メモリにpickleする

ABEJAでデータエンジニアをしています、千葉です。 少し前に、pandasのDataFrameをファイルに読み書きする際にメモリを消費しすぎる問題を発見したので、解決策を含めて紹介します。 通常手法の紹介 通常、DataFrameをファイルに保存する際には、pandasの提…