探索性数据分析 Skill 怎么用：一份陌生 CSV 的完整解读指南

场景：面对一份陌生的数据文件

你刚收到一份 experiment_2024.csv，列名晦涩，行数不明。打开后满眼数字，不知道哪列是时间戳、哪列有缺失、变量间是否相关。手动写脚本太耗时，直接上模型又怕 Garbage In Garbage Out。这时，「探索性数据分析（EDA）」Skill 的价值就显现出来了。

EDA 在数据分析里的位置

EDA 不是建模的替代品，而是建模前的必要勘探。它回答三个基础问题：数据长什么样？哪里不干净？各变量怎么互动？这个 Skill 把传统 EDA 的工作流封装成结构化能力——从加载、可视化、统计检验到异常值检测，覆盖单变量、双变量和多变量分析全链路。输出是 Markdown 报告，可直接存档或分享。

这个 Skill 帮你做哪些检查

核心能力分五层：

• 结构摸底：形状、数据类型、缺失值分布、基础统计量
• 可视化勘探：直方图看分布、箱线图/小提琴图看离散程度、散点图和线图看关系、热图看相关性
• 统计检验：t 检验、卡方检验、ANOVA、三种相关系数（Pearson / Spearman / Kendall）
• 异常值识别：IQR 法和 Z-score 法双保险
• 降维与聚类：PCA、t-SNE、UMAP 等高级技术预留接口

特别的是，它能自动识别 200 多种科学数据格式——化学、生物信息学、显微镜图像元数据、光谱、蛋白质组学、代谢组学等，不限于 CSV。

启用方式

在兼容的 AI 工具中启用该 Skill 即可。兼容工具包括 Claude Code、OpenClaw、Hermes Agent。来源为 claude-scientific-skills，MIT 许可，上游项目 K-Dense-AI/scientific-agent-skills。

拿到一份 CSV 后的完整实操

以那份 experiment_2024.csv 为例，Skill 会引导以下步骤：

第一步：加载与初检

用 pandas 读取后，立即输出形状、数据类型、缺失值汇总和 describe() 统计。这一步通常 10 秒内暴露最明显的问题——比如某列本应是数值型却被读成字符串，或缺失率高达 40% 的列需要决定是否丢弃。

第二步：单变量可视化

对关键列绘制直方图（看分布形态）、箱线图（看中位数和异常点）、小提琴图（看密度估计）。三图并列，比单独看数字更直观。偏度和峰度量化输出，判断是否需要对数变换或标准化。

第三步：双变量与多变量关系

散点图排查线性或非线性关系；时间序列线图检查趋势和周期性；pairplot 对候选特征子集做矩阵式浏览；相关性热图用颜色强度一眼定位强相关变量对，避免后续建模的多重共线性陷阱。

第四步：统计检验与异常值处理

分组数据用 t 检验或 ANOVA 判断差异显著性；分类变量用卡方检验看独立性。异常值先用 IQR 法框定，再用 Z-score 法复核，两份结果交叉验证，减少误判。处理策略——删除、截断或保留——根据业务语境决定，Skill 会给出下游分析建议。

第五步：生成 Markdown 报告

所有图表、统计量、检验结果和质量指标自动汇总为结构化文档，包含对下一步建模或实验设计的具体建议。

什么数据适合它

• 科学实验原始数据，尤其是跨学科项目（化学、生物、医学影像、光谱等）
• 任何需要快速理解结构的新数据集
• 数据清洗前的质量评估阶段
• 团队协作中需要标准化、可复现的 EDA 文档

不适合的场景：实时流数据（它面向文件级分析）、已经过深度特征工程的生产流水线。

使用建议

先让 Skill 做全自动扫描，拿到总览报告后再针对性深入。不要跳过「初检」直接画图——数据类型错误会让后续所有可视化失真。相关性热图建议三种方法都跑一遍：Pearson 对线性敏感，Spearman 和 Kendall 对单调关系和非参数场景更稳健。异常值处理前务必确认是否为真实测量误差，科学数据里极端值往往正是发现所在。最后，把生成的 Markdown 报告连同原始数据一起存档，形成可追溯的分析链条。