手机版 欢迎访问it开发者社区(www.mfbz.cn)网站

当前位置: > 开发

【如何3秒钟看出一个人的python实力|Python 数据分析打怪升级之路 day04】:手把手教你如何分析用户数据、数据分析基本概念

时间:2021/5/4 17:37:42|来源:|点击: 次

数据分析打怪升级进度:day04

在这里插入图片描述
哈喽大家好啊,欢迎来到夜斗小神社数据分析打怪升级之路!

大家可以叫我小夜斗:“一枚想要做python领域强者的小萌新”

你会确信你终于在CSDN找到了能信赖的python知识分享者,这篇文章将会成为你未来数据分析的启蒙之路,听起来不错吧!

小夜斗致力于python语言知识分享,这些知识各个领域的大佬课程中的文档,内容干货非常多、相信大家学完之后定有所成!

现在关注小夜斗,将有更多干货分享,都能去大厂面试了!

一:数据分析相关概念

  • 商业智能(BI):用数据预测用户购物行为
  • 数据仓库(DW):顾客的消费行为存储仓库
  • 数据挖掘(DM):根据个体消费行为分析总结规律
  • 元数据:描述其它数据的数据,也称为"中介数据"(一套图书
  • 数据元:最小数据单元(一套图书中的书名、作者、等信息)
  • KDD(Knowledge Discovery in Database):数据库中的知识发现

二:挖掘数据价值过程

输入数据 —— 数据预处理 —— 数据挖掘 —— 后处理 —— 价值信息

  • 数据预处理:对参差不齐的数据转化为我们想要的格式,一般包括数据清洗(去除重复值、干扰数据以及填充缺失值)、数据集成(将数据统一存储)、数据变化(将数据转换到合适的区间、转换合适的属性)

下面是引用陈旸老师数据分析实战45讲关于一些概念的段子
不得不说这可真的是生动形象、一下子就都理解辽抽象概念!

商业智能会告诉你要追哪个?成功概率有多大?
数据仓库会说,我这里存储了这两个女孩的相关信息,你要吗?
其中每个女孩的数据都有单独的文件夹,里面有她们各自的姓名、生日、喜好和联系方式
等,这些具体的信息就是数据元,加起来叫作元数据。
数据挖掘会帮助你确定追哪个女孩,并且整理好数据仓库,这里就可以使用到各种算法,
帮你做决策了。
你可能会用到分类算法。御姐、萝莉、女王,她到底属于哪个分类?
如果认识的女孩太多了,多到你已经数不过来了,比如说 5 万人!你就可以使用聚类算法
了,它帮你把这些女孩分成多个群组,比如 5 个组。然后再对每个群组的特性进行了解,
进行决策。这样就把 5 万人的决策,转化成了 5 个组的决策。成功实现降维,大大提升了
效率。如果你想知道这个女孩的闺蜜是谁,那么关联分析算法可以告诉你。
如果你的数据来源比较多,比如有很多朋友给你介绍女朋友,很多人都推荐了同一个,你
就需要去重,这叫数据清洗;为了方便记忆,你把不同朋友推荐的女孩信息合成一个,这
叫数据集成;有些数据渠道统计的体重的单位是公斤,有些是斤,你就需要将它们转换成
同一个单位,这叫数据变换。
最后你可以进行数据可视化了,它会直观地把你想要的结果呈现出来。

三:用户画像建模

  1. 统一化(统一用户的唯一标识)
  2. 标签化(给用户打标签)
  3. 业务化(指导业务关联)

用户唯一标识是整个用户画像的核心,你可以通过特有的特征来选择唯一标识,账号姓名、手机号等

用户消费行为分析:用户标签(性别、年龄、收入、学历等)、消费标签(消费习惯、购买意向等)、行为标签(时间段、时长、频率)、内容分析(金融、娱乐、科技等)

不同的建模过程,需要打上不同的标签:

  • 数据层:事实标签,作为客观记录
  • 算法层:模型标签,作为分类标识
  • 业务层:预测标签,业务关联结果

三:用户画像带来的业务价值

  1. 获客:精准营销获取客户
  2. 黏客:个性化推荐、搜索排序等
  3. 留客:关键点降低流失率

四:清洗任务为何如此重要

数据科学家80%时间花费在了清洗任务上

小夜斗给大家举一个很简单易懂的例子:高中三年,你留的汗水都是为了高考那三天!

没错,三年就是在为高考那三天做准备工作!

类似的道理:数据清洗任务是为数据挖掘做准备工作,得到你想要的的数据形式,以便更好的构造模型!

数据质量标准的四大规则:

  1. 完整性:是否存在空缺值
# 对年龄缺失值用平均年龄填充
df['Age'].fillna(df['Age'].mean(), inplace=True)
# 用当前列出现频率最高的数据填充
age_max = df['Age'].values_counts().index[0]
df['Age'].fillna(age_max, inplace=True)
# 删除空行
df.dropna(how='all', inplace=True)

  • 全面性:平均值、最大值、最小值等

  • 合法性:是否有未知值等

  • 唯一性:重复数据

  • 在这个星球上,你很重要,请珍惜你的珍贵! ~~~夜斗小神社

在这里插入图片描述

Copyright © 2002-2019 某某自媒体运营 版权所有