实验7-1_自媒体运营分析_数据清洗与预处理
实验7-1 自媒体运营分析:数据清洗与预处理
本实验从原始自媒体作品明细出发,使用助睿ETL完成导入、分支处理、过滤、缺失值填充、字段选择和目标表输出,为后续特征构建与可视化分析准备干净可用的数据基础。
实验目标
实验7-1的核心任务是把原始作品明细加工成两张后续分析可直接使用的数据表。第一张是 summary_all_platforms,用于保存全平台按日期、平台聚合后的概况数据;第二张是 content_analysis,用于保存B站和CSDN的有效作品明细。
这一步解决了三个问题:原始平台较多但部分平台浏览数据不足、无效记录会干扰重点平台分析、部分文本字段存在缺失值。清洗完成后,后续实验才能稳定计算互动指标和标题特征。
流程概览
整体流程采用分支处理。CSV输入后,一条支路保留所有平台并完成排序、分组和汇总,输出 summary_all_platforms;另一条支路筛选B站和CSDN浏览量大于0的作品,再进行缺失值填充、字段选择和表输出,生成 content_analysis。
这种设计让全平台概况和重点平台深度分析互不干扰。全平台支路适合做总量指标卡,重点平台支路适合做作品排名、标题特征和趋势分析。
关键步骤
第一步,配置CSV输入,选择自媒体作品数据明细文件,编码保持UTF-8,并预览日期、平台、标题、作者、浏览量、点赞、收藏、分享等字段是否正常读取。
第二步,全平台支路按日期和平台排序,再使用分组组件汇总作品数、浏览数和互动字段,输出到 summary_all_platforms。
第三步,重点平台支路用过滤记录组件保留B站和CSDN,并要求浏览量大于0,从而剔除没有分析价值的记录。
第四步,使用替换NULL值组件处理作者、标题等文本字段,再通过字段选择保留 date、author_name、title、platform、likes、favorites、shares、coins、views、url 等核心字段。
第五步,将清洗后的明细写入 content_analysis,并在元数据查询中检查字段映射和记录结果。
实验结果
运行转换流后,日志区显示读取、排序、过滤、填充、字段选择和表输出步骤均执行成功。content_analysis 中保留了B站和CSDN的有效作品记录,summary_all_platforms 中保留了全平台概况汇总。
到这里,实验7-1完成了从原始数据到可分析数据表的转换,为实验7-2计算互动总数、标题关键词特征和关键词汇总提供了输入。