在pandas中, 有多种方式可以为dataframes复制,如df.copy(), pd.concat()等。我们可以使用以下代码测试每种方法的内存消耗:
import pandas as pd import numpy as np import sys
df = pd.DataFrame(np.random.randn(10000, 100))
print("直接复制dataframe的内存消耗:") %memit df_ram = df.copy() del df_ram
print("使用pd.concat()复制dataframe的内存消耗:") %memit df_ram = pd.concat([df] * 10, ignore_index=True) del df_ram
print("使用dataframe的copy()方法复制的内存消耗:") %memit df_ram = pd.concat([df] * 10, ignore_index=True) del df_ram
从上面的代码中,我们可以看到,我们在使用不同方法复制dataframe时, 内存消耗可能会有所不同。因此,根据具体情况选择最适合您的方法,可以显著节省内存消耗。