姓名：任佳莉

一、实验目的

①熟悉助睿 Uniplore 一站式数据科学平台操作流程，掌握助睿 ETL 拖拽式零代码数据加工方式，理解 Pipeline 流水线处理逻辑。

②掌握 CSV 文件输入、分组聚合、多条件过滤、空值填充、字段筛选、表输出等核心 ETL 组件配置方法。

③掌握分支分流ETL 设计思路，同一原始数据分两路处理，分别产出全平台汇总数据、重点平台清洗明细数据。

④理解原始自媒体数据存在的数据冗余、无效记录、字段缺失等问题，掌握标准化数据清洗、预处理流程。

⑤规范输出两张业务数据表，分别支撑数据仪表盘总览指标、后续深度特征分析，建立分口径数据分析思维。

二、实验环境与数据源

2.1 实验环境

本次实验依托助睿数智（Uniplore）零代码数据科学平台，覆盖数据接入、ETL 处理、可视化全流程实训能力。

实训平台地址：https://lab.guilian.cn/

平台官网：https://www.uniplore.com/

操作方式：浏览器可视化拖拽组件搭建转换流，无需编写代码完成完整数据 ETL。

2.2 实验数据源

数据源文件：自媒体作品数据明细.csv，存放于平台公共资源库，需复制至个人文件库使用。

数据范围：6 月 8 日 - 6 月 15 日班级学生各自媒体平台发布作品互动数据，仅包含采集前未删除作品，新增、下架作品不在数据集内。

原始数据包含平台：B 站、CSDN、微信、知乎、小红书、头条；存在浏览量空值、全零无效记录、文本字段缺失、多平台指标不统一等脏数据问题。

三、实验原理与整体设计思路

3.1 ETL 与数据清洗原理

ETL 即抽取 Extract、转换 Transform、加载 Load：

抽取：读取 CSV 原始自媒体明细数据；

转换：分为两条分支并行处理：

分支 1：全平台无过滤聚合，按日期 + 平台分组求和统计大盘指标；

分支 2：筛选 B 站 / CSDN 有效流量作品、填充空值、精简无用字段；

加载：两支流分别写入两张数据表summary_all_platforms、content_analysis。

数据清洗核心作用：解决原始数据平台冗余、无效零流量记录、文本空值、多余采集字段问题，统一数据格式，保证后续统计、特征计算不报错。

3.2 整体流程设计

新建自媒体运营分析项目→复制公共 CSV 数据源至个人文件库→新建转换流→CSV 文件输入拆分双分支

分支 1：排序记录→分组聚合→表输出（全平台概况汇总表）

分支 2：多条件过滤记录→替换 NULL 空值→字段选择精简→表输出（清洗后作品明细表）

执行转换流→预览两张数据表结果→校验数据逻辑正确性。

四、实验步骤

4.1 平台登录与项目创建

①登录助睿大数据实训平台，进入数据集成 ETL 模块。

②新建个人项目，项目名称自定义为「自媒体运营分析」，保存进入项目工作空间。

③进入资源库 - 文件库，在公共空间找到自媒体作品数据明细.csv，导出复制至个人文件库，作为本次实验数据源。

4.2 新建数据转换流

①项目空白处右键新建转换流，命名为「自媒体数据清洗与预处理 7-1」并保存。

②浏览左侧组件库，区分输入、转换、输出类组件，熟悉 CSV 输入、分组、过滤、替换 NULL、字段选择、表输出组件功能。

4.3 数据抽取配置（CSV 文件输入）

①拖拽「CSV 文件输入」组件至画布，双击打开配置。

②文件路径选择个人文件库中已复制的自媒体作品数据明细.csv，自动读取全部原始字段，预览数据确认加载正常。

4.4 分支 1：全平台聚合统计（无过滤大盘数据）

①从 CSV 输入拉出一条数据流，依次拖拽「排序记录」「分组」组件串联。

②排序组件配置：按crawl_date采集日期、platform平台排序。

③分组聚合配置：分组字段为crawl_date、platform；全部数值互动字段执行求和（作品数、总浏览、点赞、收藏、分享、B 站投币、微信推荐、知乎喜欢 / 赞同）。

④拖拽「表输出」组件，命名为「全平台概况表输出」，目标表选择summary_all_platforms，绑定聚合后数据流。

4.5 分支 2：多条件过滤筛选有效作品

①从 CSV 输入拉出第二条数据流，接入「过滤记录」组件。

②配置复合筛选条件（AND/OR 组合）：

(platform = 'B站' AND views > 0) OR (platform = 'CSDN' AND views > 0)

③分流规则：匹配条件数据进入后续清洗流程；不匹配数据设置为空操作直接丢弃。

4.6 缺失值填充（替换 NULL 值）

①过滤后的数据流接入「替换 NULL 值」组件。

②配置填充规则：作者名称author_name、作品标题title空值统一填充文本「未知」；数值互动字段无空值无需处理，规避后续文本匹配、统计报错。

4.7 字段选择精简冗余字段

①填充完成后接入「字段选择」组件。

②删除原始采集标记字段source_file，仅保留分析核心字段：

date, author_name, title, platform, likes, favorites, shares, coins, views, url

多余字段全部移除，缩小数据集体积。

4.8 输出清洗明细表

拖拽第二个「表输出」组件，命名「内容分析表输出」，目标数据表选择content_analysis，接入字段选择后的清洗数据流。

4.9 运行转换流与数据预览校验

①点击画布顶部运行按钮，启动转换流任务，查看执行日志确认无报错。

②分别打开两张输出表预览：

summary_all_platforms：包含全部平台每日聚合数据，浏览量为 0 的平台作品正常统计，各平台专属互动指标独立列存放；

content_analysis：仅留存 B 站、CSDN 且浏览量＞0 作品，标题、作者空值已填充为 “未知”，字段精简无冗余。

五、实验结果分析

全平台汇总表summary_all_platforms成功按日期、平台完成聚合统计，完整保留微信、知乎、小红书、头条等低流量平台数据，可用于仪表盘顶部大盘总览指标展示；B 站投币、知乎赞同、微信推荐等专属指标分开存储，数据含义清晰，不会混淆统计口径。

清洗明细表content_analysis完成精准过滤，仅保留具备流量分析价值的 B 站、CSDN 有效作品；文本空值全部填充，无用采集字段剔除，数据整洁规范，可直接作为下一实验标题特征提取、互动率计算的输入数据源。

双分支并行处理实现一套原始数据同时支撑两种业务分析口径，数据分类逻辑准确，无数据丢失、错分、空值报错问题，完成实验全部预设目标。

六、实验中遇到的问题及解决方法

①问题：公共 CSV 文件无法直接读取，找不到数据源

解决：公共空间文件仅可查看，必须导出复制至个人文件库，再在 CSV 输入组件中选择个人文件。

②问题：过滤条件配置错误，误保留浏览量为 0 的 B 站 / CSDN 作品

解决：重新编辑过滤记录组件，确认条件为平台匹配且浏览量大于 0，通过 OR 分隔两个平台条件，预览数据核对流量数值。

③问题：作者、标题空值未处理，预览明细表出现 NULL 字段

解决：增加「替换 NULL 值」组件，对两个文本字段统一填充 “未知”，放置在过滤之后、字段选择之前。

④问题：聚合后数据表多余无关字段，大盘统计出现重复指标

解决：分组聚合时仅对数值互动字段求和，平台专属指标单独保留，不做合并，保证汇总表字段规范。

七、实验总结与心得体会

本次实验完整学习了助睿 ETL 平台双分支并行数据处理核心思路，从零搭建自媒体数据清洗转换流，熟练掌握 CSV 数据源读取、分组聚合、多条件复合过滤、缺失值填充、字段裁剪、数据表输出等高频组件操作。

通过实操直观理解数据清洗的必要性：原始采集数据存在大量无效、缺失、冗余内容，不做预处理会导致后续可视化、特征计算出错。零代码拖拽式 ETL 无需编程即可完成复杂多分支数据分流，极大降低数据分析门槛。

实验过程中通过预览数据反复校验筛选、填充、聚合逻辑，提升了数据问题排查、流程调试能力，掌握了分口径设计数据表的业务思维，为后续自媒体标题特征分析、可视化仪表盘实验打下坚实基础。