pandas 在使用时语法感觉很乱，有什么学习的技巧吗？

# 举个例子，每次分析工作完成后，把琐碎的数据清理工作以如下形式放在数据导入后的下一步
dtype_mapping = {'a':np.float32, 'b':np.uint8, 'c':np.float64, 'd':np.int64, 'e':str}
df_cleaned = (df
  .pipe(pd.DataFrame.sort_index, ascending=False) #按索引排序
  .pipe(pd.DataFrame.fillna,value=0, method='ffill') #缺失值处理
  .pipe(pd.DataFrame.astype, dtype_mapping) #数据类型变换
  .pipe(pd.DataFrame.clip, lower= -0.05, upper=0.05) #极端值处理
)  
# 也可以包装成一个函数
def clean_data(df):
  ...#上面的pipe操作
  return df_cleaned

 # 官方doc的例子
df = pd.DataFrame(data=25 + 5 * np.random.randn(10), columns=["temp_c"])
df.assign(temp_f=lambda x: x['temp_c'] * 9 / 5 + 32,
          temp_k=lambda x: (x['temp_f'] +  459.67) * 5 / 9)
)

df = pd.DataFrame(data=np.random.randn(10,3), columns=list("abc"))

#用query
df.query("(a>0 and b<0.05) or c>b")
#普通方法
df.loc[((df['a']>0) & (df['b']<0.05))| (df['c']>df['b'])]

# 以下是数据准备。
import pandas as pd
import numpy as np
import pandas_datareader as web
import datetime

start = datetime.datetime(2021, 6, 1)
end = datetime.datetime(2021, 12, 31)

#选google，testla，neflix,和coke
assets = ['GOOG', 'TSLA', 'NFLX', 'KO']

#读取4个股票在2021年下半年的历史交易数据
df = web.DataReader(assets, 'stooq', start, end) 、
df_cls_price = df.loc[:,'Close'] #只看收盘价

下面是错误的示范，没有耐心的同学可以直接跳过。

#方法一用iloc遍历的方式
def wrong_func():
    df_wrong = pd.DataFrame(index=df_cls_price.index, 
        columns=df_cls_price.columns)

    for i in range(df_cls_price.shape[0]):
        for s in assets:
            if i == 0:
                df_wrong.iloc[i][s] = 0
            else:
                #通过iloc[i-1]和iloc[i]做差
                diff = (df_cls_price.iloc[i][s] - df_cls_price.iloc[i-1][s])
                denominator = df_cls_price.iloc[i-1][s]
                df_wrong.iloc[i][s] = diff/denominator
    return df_wrong



#call这个上述方法
wrong_func()

#方法二、用pandas自带方法
 df_cls_price.pct_change()

#看下执行效率

# 还是上面的例子，求股票月度平均价格

# 方法一、用groupby，string来做
(df_cls_price
   # 用function作为grouper时，会取日期索引字符串前7位，比如2021-07
  .groupby(lambda x: str(x)[:7]) 
  .mean()
）

#方法二、用resample来操作
(df_cls_price
  .resample('1M')
  .mean()
)

# 方法二，也可以很容易扩展到其他时间区间
(df_cls_price
.resample('10D') #10天
#.resample('2W')  #双周 
#.resample('Q)    #季度
.mean()
)
# 还可以有分钟、秒，不适用本案例

#方法一、用agg汇总后再merge到原表
df_wrong = df_cls_price.reset_index() #把datetime64的索引变成列，列名为Date
df_wrong['month'] = df_wrong['Date'].apply(lambda x: str(x)[:7]) # 生成month辅助列

#得到月均价
df_wrong_avgprice = (df_wrong
 .groupby('month')
 .mean()
)

#把月均价df和原来数据合并
df_wrong_joined = df_wrong.join(df_wrong_avgprice,on='month', rsuffix='_1m_mean')

#计算
df_wrong_joined.assign(
    GOOG_demean = df_wrong_joined['GOOG'] - df_wrong_joined['GOOG_1m_mean'],
    TSLA_demean = df_wrong_joined['TSLA'] - df_wrong_joined['TSLA_1m_mean'],
    NFLX_demean = df_wrong_joined['NFLX'] - df_wrong_joined['NFLX_1m_mean'],
    KO_demean = df_wrong_joined['KO'] - df_wrong_joined['KO_1m_mean']
)

#方法二、用grouper加transform
df_cls_price.groupby(pd.Grouper(freq='1M')).transform(lambda x: x- x.mean())

#方法三、熟练用户会直接用‘-’，更快更简洁
df_cls_price - df_cls_price.groupby(pd.Grouper(freq='1M')).transform(np.mean)

#看一下效率

def abcd_to_e(x):
    if x['a']>1:
        return 1
    elif x['b']<0:
        return x['b']
    elif x['a']>0.1 and x['b']<10:
        return 10
    elif ...:
        return 1000
    elif ...
    
    else: 
        return x['c']

df.apply(abcd_to_e, axis=1)