当前位置：首页 > news >正文

做网站公司排名电话微营销系统

news 2025/8/28 9:49:43

做网站公司排名电话,微营销系统,杭州北京网站建设公司哪家好,苏州营销型网站制作多少钱课程介绍项目名称黑马甄选数仓形式离线数仓开发业务类型电商业务电商介绍 B2B B2C C2C 项目属于新零售电商新零售线上(网站,app,小程序） 线下（实体体验店） 物流（自营物流） 项目行业果蔬生鲜领域商业模式 B…

课程介绍

项目名称黑马甄选
数仓形式离线数仓开发
业务类型电商业务

电商介绍

B2B B2C C2C

项目属于新零售电商新零售线上(网站,app,小程序）+ 线下（实体体验店）+ 物流（自营物流）

项目行业果蔬生鲜领域

商业模式 B2C 企业售卖商品给个人

项目业务介绍

门店业务
- 线下实体店
- 及时达（快递物流）
- 社区团购
- 三方平台在第三发平台开设店铺
线上商城
- 线上的B2C的网站
商品批发
- app 经销商在app中下单采购
大客户团购
- app 公司在app中下单采购
自营商品
- 商品贴牌

线下到线上

有线下的连锁商店，为了线上购物需求，开发了网站，app，小程序
在三方平台开设店铺
线下商店根据规模不同可以商品批发，企业团购

线上到线下

现有线上网站，引入新零售场景，开始发展线下（开设店铺，发展物流）

开发需求介绍

销售需求
会员需求
供应链需求
商城需求

不同需求就是一个开发主题

需求开发完成后会有新的需求产生

项目架构介绍

数仓分层架构

传统数仓架构
- 数据是自上而下进行开发，上是上游数据
- 在导入数据时，直接将所有数据导入数仓，在根据需求从数仓中筛序数据进行计算
- 该架构模式会造成数仓中存储大量无用数据
  - 用户数据
  - 订单数据
  - 商品数据
  - 业务需求
    - 计算用户总量
    - 计算每天新增用户量
    - 计算每天留存用户量
    - 月增用户量
    - 月留存用户量
- 传统数仓架构，需求变化快
离线数仓架构
- 自下而上 先确认下游的计算需求，根据计算需求向上找要计算的数据，将需要计算的数据导入数仓
- 维度表分组数据时间维度表
- 事实表计算内容做为事实表
  - 用户主题分析用到时间维度表年月日 tb_dt_user
  - 商品主题分析用到时间维度表时分秒 tb_dt_goods

技术架构

数仓架构描述的是数据处理流程

技术架构描述的是实现数仓用的技术组成

数据源存储
- Mysql
- SQL Server
数据导入 ETL
- sqoop
- datax
- flume
- kettle
数据仓库
- 分布式存储 hdfs
- 分布式计算 mapreduce + hive
- 资源调度 yarn
数仓数据导出
- datax
- sqoop
- kettle
存储结果的数据库
- mysql
- Oracle
- SQL server
- PostGreSQL
数据展示
- FineBI
- FineReport
- superset
- powerBI
任务调度
- DS
- oozie

项目人员及开发周期介绍

项目人员构成

项目经理 1人
管控整个项目的开发进度
进行部门和人员协调
产品经理 1人
- 负责产品设计
  - 网站，app产品
数据分析师或数据产品经理 1人
- 负责主题需求设计
数据开发 2-4人
- 进行数仓搭建开发
业务开发
- 网站，app
- 前端开发 pc端1人手机端1人
- 后端开发 1人
测试开发 1-2人
- 产品测试，检查功能是否完整，计算结果是否正确
大数据运维开发 1
- 大数据软件安装，业务的上线部署，服务器维

项目开发周期

产品调研说明该项目开发原因，形成立项报告进行审批

数仓设计设计数仓分层，技术选型，数仓表设计

数仓开发

集成测试测试数仓开发的代码是否计算正确

上线部署

项目服务器选择

物理服务器还是云服务器
- 成本问题
- 项目中选择物理机配置 128G 内存，20核物理CPU，40线程，8T HDD和 2T SSD硬盘
服务器数量
- 基于每天产生的数据量进行推测
- 当前项目每天产生 34G的数据
- 历史数据数量 10T
- 增量数据未来五年（服务器进行扩容）的数据 34G*365*5 = 15T
- 计算时中间结果的存储 34G * 0.5 17G * 365*5 = 7.5T 10+15+7.5=32.5T
- 3副本存储数据存储三份 32.5 * 3
- 每台服务器需要预留20%空间 97.5 / 0.8 = 122 T
- 开发需要13台服务器预留测试服务器 2台管理服务器3台（namenode resourcemanager CM的主服务）