首页 > 编程学习 > 胡说hadoop

胡说hadoop

发布时间:2022/8/25 21:55:54

想起名字为“hadoop保姆即教程”的,想了想自己不能误人子弟,还是算了。。。。

马上要开学了,没敢忘记我们还有暑假任务:学习hadoop并记录学习笔记。

为了证明我hadoop入门了,就口胡一下我对hadoop的认识。


一切从sqL开始说起。人们为了相对于较工作表能更好地存数据,找数据发明了sql,sql有三个特点。 由mysql进行数据的存储,实现了物理存储与逻辑存储低耦合,逻辑存储与展示低耦合(数据物理存储位置改变,表数据不会变;表数据增加或减少一行,展示在页面上的数据也可能不会变)。通过sql语句保证了数据查询的便利性 ,而且通过“锁”的机制保证了多个客户端查询的不冲突

但是,相对于数据量大的任务,比如google,baidu搜索,动不动上百万条数据,mysql便一愁莫展,力所不及。随着google三篇论文的出世,人们便想到可以利用并行执行任务减少处理时间,十个人板砖总比一个人板砖快嘛。最终hadoop出世。和sql一样,hadoop也有三个特点* 。先说存储数据, hadoop处理GB、TB级的数据还是没什么问题的,人家是几台电脑并行工作,通过HDFS实现数据的存储,当然数据可能存在不同的电脑上。对于数据的查询,人家也是并行查询,用mapreduce,把一个任务分成几块任务同时进行,再最后reduce合成一下。至于保证多个任务不冲突,由一个叫Yarn的模块控制,就是先划分多个队列,进来由n个客户端进来的任务,对每个任务划分到一个队列。这样可以每个队列执行一个任务,保证效率。

hadoop写代码不方便?写个类似sql查询功能的程序得至少写三个文件(mapper,reducer,driver),没问题,Hive是建立在hadoop上的一个软件,可以用类似sql的查询语句代替这三个文件,这不就跟sql差不多了?

好像还得学spark,用来取代mapreduce模块。原因是mapreduce是基于磁盘的,reduce阶段从磁盘拉取到内存太慢,而spark是基于内存的。同一个任务,spark所花的时间能达到MR所花的时间的三分之一。


所以,举个例子,口胡一下hadoop怎么工作的。

  • 假如未来工作的时候BOSS给了我们一个任务:给我们一个4MB的 data.txt文件,和一系列条件A,B,C(可能是性别,年龄啊等等)。让我们把最终的结果导进mysql或者txt文件中。

    • 把数据导进mysql,写java程序,用sql语句查询并导出到mysql或者txt文件
  • 现在BOSS的任务变了,文件大小从4MB增长到4GB(mysql根本存不下),正好你们公司又有个hadoop集群,BOSS准许你用它。

    • 把数据存进HDFS,写java程序,用Hive的HQL语句或者自己写mapreduce接口查询,结果写进Hive绑定的数据库或者写到单独的文件里。

接下来就是细节了,hadoop工作的细节。

先说一下前提,任务还是上面4G的数据的任务,给你hadoop集群的规格:三台服务器,每台服务器CentOS系统,4G内存,4cpu。

它是这么工作的:首先我通过我的电脑用远程连接连接到服务器,再向hdfs上传输4G的数据,hdfs是个文件存储系统,它对数据进行切分,128MB一块,一共分成32块,每块存放在这三台服务器的任何一台。接下来我写java程序,打包传输到服务器,在服务器上运行,yarn会根据我的任务所需要的资源给我分配到一个队列上(可能某条队列上正好有王五的任务在运行,我李四和他各走各的,不冲突),并给我分配一个ApplicationMaster管理我这个任务的进行。假设我写的reduce阶段只要求输出一个文件,于是hadoop给我分配32+1+1=34个容器,也就是4G多的内存。mapper容器32个。(这34个容器每个容器是一个线程,32>4(cpu数)*3(服务器数),不知道会不会把hadoop集群干瘫痪。)reduce阶段完成后,我想要的结果便会输出到一个文件夹或者服务器内置的mysql中(假设Hive连的是mysql)。然后我再把结果开心地下载下来就行了。


最后是hadoop的学习,我的建议是分四步:hadoop结构+虚拟机环境准备+集群搭建+java代码使用

  • hadoop结构这里没得说的,就是知道其三个组成:HDFS,Yarn,MapReduce是干什么的就行了

  • 虚拟机环境准备的话,需要装linux系统,设置虚拟机IP,装hadoop软件和javaJDK并配置环境变量

  • 集群搭建最重要,虚拟机上围绕着hdfs-site.xml,mapred-set.xml,yarn-site.xml,core-site.xml四个自定义配置文件搞。自己电脑上要装xshell,xftp并会用。搭建完成的标志是hdfs的9870端口,mapreduce的8088端口,历史服务器的19888端口,java连接集群用的8020端口全部打开

  • java代码使用的话,要会写mapper,reducer,driver类,会写序列化bean

上面是大的方向,最核心的还是弄懂hadoop三大组件的运行原理。

Copyright © 2010-2022 mfbz.cn 版权所有 |关于我们| 联系方式|豫ICP备15888888号