Kaggle Notebook 文件管理实战：3种保存与清理 /kaggle/working 目录的方法

在数据科学竞赛和机器学习项目中，Kaggle Notebook 已成为许多从业者的首选工具。然而，随着项目复杂度提升，/kaggle/working 目录下的文件管理常常成为被忽视的痛点——模型检查点堆积、临时文件散落、输出结果混乱等问题不仅占用宝贵存储空间，更会影响后续实验的可复现性。本文将系统介绍三种高效管理策略，从基础操作到自动化脚本，帮助您建立规范的文件工作流。

1. 理解Kaggle文件系统的基本结构

Kaggle Notebook 提供了一套独特的文件系统环境，理解其架构是高效管理的前提。当启动一个新的Notebook时，您会看到以下核心目录：

• /kaggle/input：只读目录，存放竞赛数据集和用户上传的外部数据
• /kaggle/working：可读写目录，默认保存所有脚本输出文件
• /kaggle/temp：临时目录，会话结束后自动清空

其中/kaggle/working是最需要关注的目录，它具备以下特点：

import os print(f"工作目录路径: {os.getcwd()}") # 通常输出 /kaggle/working print(f"目录初始内容: {os.listdir('/kaggle/working')}") # 默认为空

注意：Notebook每次重启都会清空working目录，但通过Save Version保存的版本会保留该目录下的文件

2. 方案一：Python模块化清理（shutil + os）

对于需要精细控制文件删除的场景，Python标准库提供了可靠的工具组合。以下是一个增强版的目录清理脚本：

import shutil import os from pathlib import Path def clean_working_dir(keep_patterns=None, exclude_dirs=None): """ 清理/kaggle/working目录，支持保留特定文件和排除目录 参数: keep_patterns: 需要保留的文件模式列表（如['*.csv', 'model_*']） exclude_dirs: 需要排除的目录列表（如['logs', 'checkpoints']） """ base_path = Path('/kaggle/working') if not keep_patterns: keep_patterns = [] if not exclude_dirs: exclude_dirs = [] preserved_files = [] for item in base_path.glob('*'): # 检查排除目录 if item.is_dir() and item.name in exclude_dirs: continue # 检查保留模式 should_keep = any(item.match(pattern) for pattern in keep_patterns) if should_keep: preserved_files.append(item.name) continue # 执行删除 try: if item.is_file(): item.unlink() elif item.is_dir(): shutil.rmtree(item) except Exception as e: print(f"删除 {item.name} 失败: {str(e)}") print(f"清理完成，保留文件: {preserved_files or '无'}")

典型应用场景对比：

3. 方案二：Kaggle UI可视化操作

对于偏好图形界面的用户，Kaggle提供了直观的文件管理面板。以下是分步指南：

1. 访问Output文件：

   • 在Notebook界面右侧边栏找到"Data"面板
   • 展开"Output"选项卡，显示/kaggle/working目录内容
   • 点击文件名旁边的下载图标可保存到本地

2. 批量删除操作：

   • 勾选要删除的文件左侧复选框
   • 点击顶部出现的垃圾桶图标
   • 确认删除操作（不可撤销）

3. 版本控制技巧：

   • 点击右上角"Save Version"按钮
   • 在高级选项中选择：
     • Quick Save：仅保存Notebook状态
     • Save & Run All：保存并执行所有单元格
     • Save & Clear Output：保存但清除所有输出

提示：UI删除操作实际调用的是后台API，与方案一的Python代码效果相同

4. 方案三：自动化压缩与下载脚本

当需要迁移大量文件时，逐个下载效率低下。以下自动化脚本将整个working目录打包为ZIP并生成下载链接：

import os import zipfile import IPython from datetime import datetime def package_and_download(output_name='output'): """ 打包/kaggle/working目录并生成下载链接 参数: output_name: 生成的ZIP文件名（不含扩展名） """ zip_path = f'/kaggle/working/{output_name}.zip' source_dir = '/kaggle/working' # 移除旧压缩包（如果存在） if os.path.exists(zip_path): os.remove(zip_path) # 创建新压缩包 with zipfile.ZipFile(zip_path, 'w', zipfile.ZIP_DEFLATED) as zipf: for root, dirs, files in os.walk(source_dir): # 跳过压缩包自身 if root == source_dir and f'{output_name}.zip' in files: files.remove(f'{output_name}.zip') for file in files: file_path = os.path.join(root, file) arcname = os.path.relpath(file_path, source_dir) zipf.write(file_path, arcname) # 生成下载链接 if os.path.exists(zip_path): file_size = os.path.getsize(zip_path) / (1024*1024) # MB timestamp = datetime.now().strftime('%Y-%m-%d %H:%M') print(f"打包完成于 {timestamp} | 文件大小: {file_size:.2f}MB") return IPython.display.FileLink(zip_path) else: print("压缩包创建失败")

进阶使用技巧：

• 添加定时任务：结合schedule库实现每小时自动备份
• 增量压缩：通过比较文件修改时间只打包新文件
• 云存储集成：添加自动上传到Google Drive的功能

5. 最佳实践与常见问题

根据数百次Kaggle竞赛经验，我总结出以下黄金法则：

文件组织规范：

/kaggle/working/ ├── data/ # 预处理后的数据 ├── models/ # 训练好的模型 │ ├── checkpoint1/ │ └── final_model.pth ├── logs/ # 训练日志 ├── submissions/ # 提交文件 └── tmp/ # 临时文件

性能优化建议：

• 避免在working目录存储超过5GB数据
• 定期清理/kaggle/temp中的临时文件
• 使用.gitignore风格的文件排除模式

遇到的典型问题：

1. 权限错误：部分竞赛禁止删除特定文件 → 解决方案：联系主办方或使用排除列表
2. 存储不足：working目录占用过高 → 解决方案：优先删除.npy等大型二进制文件
3. 版本混乱：不同Save Version间文件不一致 → 解决方案：建立明确的文件命名规范