哪些 Python 库让你相见恨晚？

• 主要是这些年自己常用的Python库（不计numpy这一类特别常用的库）和各种渠道看到的值得收藏（主观）的推荐。加粗的是我自己常用的，仅供参考。

一、数据可视化

1 绘图

• PyGWalker https://github.com/Kanaries/pygwalker
  简化Jupyter中的数据探索，将pandas dataframe (polars dataframe) 转换为Tableau风格的可视化界面。

• Lux https://github.com/lux-org/lux
  数据集自动可视化库；通过在 Jupyter 笔记本中打印数据框，Lux 推荐一组可视化图表，显示数据集中有趣的趋势和模式。

• cufflinks https://github.com/santosjorge/cufflinks
  plotly的封装，一个绘图命令（dataFrame.iplot）实现几乎所有类型的交互式可视化

• Altair https://github.com/altair-viz/altair
  建立在 Vega-Lite基础上，低代码生成美观的可视化图。

• Pandas_Alive https://github.com/JackMcKew/pandas_alive
  低代码绘制动态图
  
• pyecharts https://github.com/pyecharts/pyecharts
  基于百度ECharts的交互可视化库
  教程：https://gallery.pyecharts.org/#/README

• Plotly_express https://github.com/plotly/plotly_express
  交互式可视化库plotly的简化接口，类似plotly.express
  教程：https://plotly.com/python/plotly-express/
  
• bokeh http://docs.bokeh.org/en/latest/
  交互式可视化库，支持Web
  
• HoloViews https://github.com/holoviz/holoviews
  低代码绘图库，旨在使数据分析和可视化无缝且简单。

• sweetviz https://github.com/fbdesignpro/sweetviz
  两行代码实现数据集可视化、分析与比较(EDA).
  
• plotnine https://github.com/has2k1/plotnine-examples
  使用方式与R语言很相似，做出来的图也很好看
  
• Pygal http://www.pygal.org/en/stable/
  基于XML，可生成高分辨率Web图形页面

• scikit-plot https://github.com/reiinakano/scikit-plot
  机器学习绘图库

• matplotx https://github.com/nschloe/matplotx
  Matplotlib的优质扩展，可辅助Matplotlib实现理想图形。
  

• lets-plot https://github.com/JetBrains/lets-plot
  python版的ggplot2
  

2 绘图风格

• mplcyberpunk https://github.com/dhaitz/mplcyberpunk
  为matplotlib绘图添加赛博朋克风格
  两个主要功能：make_lines_glow(线条发光)、add_underglow(线条面积图)

• SciencePlots https://github.com/garrettj403/SciencePlots
  Matplotlib补充包，一键调用符合IEEE等不同期刊要求的图表格式

3 Web交互式可视化（与1的分类存在一定的模糊；包括轻量级WEB）

• Gleam https://github.com/dgrtwo/gleam
  构建数据交互式 Web 可视化：无需 HTML 、JS （灵感来自R 中的Shiny包）
  
• Dash https://dash.plotly.com/introduction
  Dash 抽象出了构建具有交互式数据可视化功能的全栈 Web 应用程序所需的所有技术和协议，是构建数据可视化app的理想选择。
  
• mpld3 http://mpld3.github.io/
  通过一个简单的API，将matplotlib图形导出为HTML代码，这些HTML代码可以在浏览器内使用。
  
• Streamlit https://github.com/streamlit/streamlit
  用于创建交互式，美观的可视化应用程序（例如机器学习app）
  
• PySimpleGUI https://github.com/PySimpleGUI/PySimpleGUI
  简便，十几行代码可创建各种跨平台GUI、几分钟时间制作图形可视化界面。
  
• Remi https://github.com/dddomodossola/remi
  快速构建交互式网页(纯python实现、极简、功能有限)（GUI库）

4 特定功能（主要是机器学习相关）

• ann-visualizer https://github.com/RedaOps/ann-visualizer
  一键导出keras神经网络结构可视化图
  
• 3b1b https://github.com/3b1b/manim
  制作动态3d数学（主要）教程
  
• dash-bio https://github.com/plotly/dash-bio
  基于dash构建的的生物信息学可视化库
  
• hiplot https://github.com/facebookresearch/hiplot
  高维数据（例如例如深度学习的调参结果）可视化库
  
• VisualDL https://github.com/PaddlePaddle/VisualDL
  深度学习（指标等）可视化分析
  
• Model Log https://github.com/NLP-LOVE/Model_Log
  基于 Python的深度学习模型训练评估指标可视化工具，与 TensorFlow、Pytorch、PaddlePaddle结合使用，可以记录模型训练过程当中的超参数、Loss、Accuracy、Precision、F1值等，并以曲线图的形式进行展现对比，轻松三步即可实现。
  
• Aim https://github.com/Aimhubio/Aim
  号称搜索速度比TensorBoard快几倍的机器学习可视化工具包（加州伯克利）
  
• nn_vis https://github.com/julrog/nn_vis
  神经网络3D可视化；其他神经网络可视化：NNSVG、Conx、ENNUI、Neataptic
  

• yellowbrick https://www.scikit-yb.org/en/latest/
  Scikit-Learn的强力扩展，快速选择机器学习模型和调参。

5 可视化案例代码

（1）https://github.com/liuhuanshuo/zaoqi-data

（2）https://www.python-graph-gallery.com

二、机器学习、深度学习

1 自动机器学习

• AutoGL https://github.com/THUMNLab/AutoGL
  清华开源自动图机器学习（含深度学习）库
  
• PyCaret https://github.com/pycaret
  机器学习建模神器，一次可运行多个模型，易于比较。
  
• model_search https://github.com/google/model_search
  google自动机器学习模型搜索框架，多个AutoML算法自动出所需AI模型，选出最好的模型。
  
• Auto-sklearn https://automl.github.io/auto-sklearn/
  基于 scikit-learn 软件包构建的开源 AutoML 库
  
• 更多（不展开）： AutoX、FLAML 、TPOT、Auto-ViML、H2O AutoML、Auto-Keras、Hyperopt Sklearn、AutoGluon、Auto-TS 等
  

2 可解释性

• shap https://github.com/slundberg/shap
  解释机器学习模型（可视化）（强烈推荐）；简单易用，但计算开销极大。

• LIME https://github.com/marcotcr/lime
  shap的升级版，机器学习模型解释工具
  
• Shapash https://github.com/MAIF/shapash
  模型可解释性（似乎比shap出图更好看）

3 深度学习

• pytorchlighting PyTorch Lightning
  pytorch的高级封装
  
• ENAS-pytorch https://github.com/carpedm20/ENAS-pytorch
  神经网络架构搜索
  
• PyTorch-OpCounter https://github.com/Lyken17/pytorch-OpCounter
  PyTorch小工具 两行代码统计模型参数量与FLOPs
  
• pytorch-summary https://github.com/sksq96/pytorch-summary
  pytorch参数统计
  
• TorchMetrics https://torchmetrics.readthedocs.io/
  PyTorch的指标度量库
  
• PyTea https://github.com/ropas/pytea
  自动检测 PyTorch 项目中的张量shape错误（不执行代码）。
  
• Composer https://github.com/mosaicml/composer
  PyTorch 库，部署了 20 几种加速方法，只需几行代码就能应用。
  

4 追踪、调参（与3有重叠）

• fitlog https://github.com/fastnlp/fitlog
  复旦邱锡鹏老师组开发的调参利器fitlog(框架无关)
  
• Optuna https://optuna.readthedocs.io/zh_CN/latest/index.html
  调参神器，用于神经网络和树模型。
  
• Deepchecks Testing Machine Learning Models | Deepchecks
  几行代码验证机器学习模型
  

5 其他

• hummingbird https://github.com/microsoft/hummingbird
  将传统机器学习模型编译成张量计算（可以用深度学习框架+cuda加速），
  
• Ydata-quality https://github.com/ydataai/ydata-quality
  数据质量诊断
  
• LOFO https://github.com/aerdem4/lofo-importance
  Kaggle GM自研特征重要性工具包
  
• Traingenerator https://github.com/jrieke/traingenerator
  为机器学习生成模板代码的 Web 应用

三、资源监测、调试

• Heartrate https://github.com/alexmojaki/heartrate
  实时动态监测Python程序的运行
  
• scalene https://github.com/emeryberger/scalene
  记录程序每一个模块的耗时
  
• PrettyErrors https://github.com/onelivesleft/PrettyErrors
  import到python文件，即可将报错信息变得极美观、易读

• Cyberbrain https://github.com/laike9m/Cyberbrain
  回溯变量更改;查看程序执行的每个状态，包括变量的值;调试循环