三亩地 三亩地SAN MU DI · CODE DIARY
ARTICLE DETAIL

日记详情

真实记录编程学习的某一天,欢迎挑你感兴趣的翻一翻。

第四周

第四周

第四周进度总结报告
一、本周完成内容与时长统计
本周总学习时长 41 小时,理论学习 21 小时,代码实操 15 小时,问题解决耗时 5 小时。
工程技能:独立规划一个数据分析小项目,完成需求拆分、模块划分,统一代码注释规范与日志输出格式,用 Git 管理项目迭代版本,掌握项目备份、回滚操作,工程化思维明显提升。
Python 重点学习 numpy 与 pandas,熟练创建数组、DataFrame 表格,完成缺失值填充、重复数据删除、数据筛选等基础清洗操作,对采集的网页数据做简单统计分析。
大数据:成功运行 MapReduce WordCount 完整案例,熟悉 YARN 架构与任务调度流程,学习 Hive 数据仓库基础概念,了解结构化数据在大数据平台的存储方式。
本周数据清洗逻辑优化、Hive 配置调试、numpy 维度报错一共花费 5 小时,反复修改代码、测试运行效果。
二、下周工作计划
Python:结合爬虫 + pandas 做完整数据采集 - 清洗 - 统计项目,学习 matplotlib 基础数据可视化绘图;
工程技能:学习代码性能优化基础方法,对比不同写法的运行效率;
大数据:搭建 Hive 环境,学习 HQL 基础查询语法,类比 SQL 理解大数据查询语言。
三、本周遇到的问题
pandas 复杂多条件筛选逻辑繁琐,代码冗余严重,不会简洁高效写法;
Hive 与 MySQL 语法相似但细节差异大,容易混淆函数用法,建表时常出现格式错误;
数组维度变换理解不透彻,可视化绘图坐标轴、样式调整不熟练。
接下来会整理常用函数速查表,多做综合小项目融合知识点。

← 返回列表