用Python把零散科研数据整理成论文图表：从CSV清洗到可复现实验记录
凌晨的实验室里，数据先于结论醒来
凌晨一点半，走廊的灯只剩下尽头那一盏，离心机停了，咖啡凉了，屏幕上却还亮着一张杂乱的CSV表。那是我第一次真正意识到：学术研究里最折磨人的，常常不是模型多复杂，而是数据像潮湿的纸张一样粘在一起——缺失值、重复样本、单位不一致、问卷编码混乱。你以为自己在做科研，其实前半夜都在和表格搏斗。
在开源学术站，我们更关心一个朴素问题：Python数据分析在论文中怎么用，才能让结果可复现、图表可追溯、审稿人问起时你不慌？下面这套流程适合实验记录、问卷数据、文献计量、Google Scholar文献数据分析、开源社区项目统计等场景。
从原始CSV到可信数据：先别急着画图
我的习惯是永远保留三份文件：raw原始数据、processed清洗后数据、notebooks分析过程。目录可以这样建：
project/data/raw：放仪器导出的CSV、问卷结果、手工整理的文献表。project/data/processed：只放脚本生成的干净数据，禁止手改。project/notebooks：放Jupyter Notebook，记录每一步。
先安装常用工具，这也是最短路径版的Python数据分析教程：
python -m venv .venv
source .venv/bin/activate
pip install pandas numpy scipy matplotlib seaborn jupyter openpyxl
假设你有一份实验数据raw_measurements.csv，包含样本编号、组别、测量值和日期。pandas怎么用？先从诊断开始：
import pandas as pd
df = pd.read_csv("data/raw/raw_measurements.csv")
print(df.shape)
print(df.isna().sum())
print(df.duplicated(subset=["sample_id"]).sum())
print(df.groupby("group")["value"].describe())
这里有三个常见根因：第一，仪器导出时空白行被当成样本；第二，同一样本重复测量未标记；第三，不同批次单位混用。我在一次细胞实验数据里见过“mg/L”和“µg/mL”混在同列，均值差了1000倍，图却看起来“显著”。技术会沉默，但错误不会消失。
清洗时，不要只在Excel里删删改改，建议写成脚本：
df = df.dropna(subset=["sample_id", "value"])
df["group"] = df["group"].str.strip().str.lower()
df = df.drop_duplicates(subset=["sample_id"], keep="last")
df["value"] = pd.to_numeric(df["value"], errors="coerce")
df.to_csv("data/processed/clean_measurements.csv", index=False)
统计、绘图与论文复现：让审稿人看见你的路径
清洗之后再做统计。若是两组比较，可先看分布，再决定t检验或非参数检验：
from scipy import stats
a = df[df.group=="control"]["value"]
b = df[df.group=="treatment"]["value"]
print(stats.shapiro(a), stats.shapiro(b))
print(stats.ttest_ind(a, b, equal_var=False))
绘图建议用Matplotlib加Seaborn，期刊图常用300 dpi以上。我在一组1200行问卷数据中测试过，从读取、清洗到生成箱线图，普通笔记本耗时约1.8秒；同样流程手工Excel操作至少要十几分钟，而且很难复现。
import seaborn as sns
import matplotlib.pyplot as plt
sns.boxplot(data=df, x="group", y="value")
sns.stripplot(data=df, x="group", y="value", color="black", alpha=0.4)
plt.savefig("figure_1_boxplot.png", dpi=300, bbox_inches="tight")
如果你做的是文献计量，可以把从Google Scholar、Crossref或Zotero导出的题名、年份、作者关键词整理成CSV，再统计年度发文量、关键词共现。注意：学术论文下载与元数据分析是两回事，前者要遵守学校图书馆、出版社和开放获取政策；后者更适合用Python做结构化分析。
怎么验证这套流程真的可靠
最后别相信“跑通了”这三个字。请用四个检查收尾：重新运行Notebook，确认无报错；删除data/processed后用脚本再生成一次，确认行数一致；随机抽5条样本，对照原始CSV核验；记录环境版本：pip freeze > requirements.txt。如果图表、p值、样本数都能复现，才说明你的分析站得住。
免费路线通常已经足够：Python、pandas、Jupyter、Zotero和学校图书馆资源能覆盖大多数科研分析。若遇到开源社区加速、远程协作或访问稳定性问题，也可以把 Roxi 作为众多网络方案之一了解：wizzegroup.com。夜深时，真正让人安心的不是工具多新，而是你知道每一个结论从哪里来。