一、Hadoop初始化配置(final+ubuntu保姆级教程)

1、配置虚拟机

        三台虚拟机,分别为node1、node2、node3,内存分别为4G、2G、2G,现存最好为(>40G),如下:

2、修改主机名

分别打开三台虚拟机,root用户输入一下命令:

node1虚拟机输入:
hostnamectl set-hostname node1
node2虚拟机输入:
hostnamectl set-hostname node2
node3虚拟机输入:
hostnamectl set-hostname node3

3、验证

输入完成之后,刷新cmd窗口,可以看到主机名发生变化:

 

4、修改配置文件

(1)图形化界面修改

设置-》网络-》点击-》将ipv4调整为手动-》修改地址、子网掩码、网关、dns

(2)重启网络设置

先开关按钮,再重启网络:

sudo systemctl restart NetworkManager.service

(3)查看修改结果

5、修改主机的host文件

找到C盘下的如下目录:

C:\Windows\System32\drivers\etc

打开第一个hosts文件,在文件末尾输入三台虚拟机的IP地址,然后保存,分别为:

192.168.88.101 node1
192.168.88.102 node2
192.168.88.103 node3

6、finall shell连接

(1)建立连接

        因为已经在windows中配置过node1,所以这里主机名只需要输入node1即可,不需要输入IP地址。

(2)关闭防火墙

sudo ufw disable

(3)配置ssh

安装ssh服务器
sudo apt install openssh-server
安装ssh客户端
sudo apt install openssh-client

(4)配置root密码

        当你按照(1)中步骤连接时,会不断弹出密码框,这是因为在初始化Ubuntu时,我们只赋予了普通用户密码,并没有给与root用户密码,我们需要在Ubuntu中配置root用户密码:

sudo passwd root

(5)修改配置文件

        在root用户下,进入如下配置文件:

vim /etc/ssh/sshd_config

        找到PermitRootLogin……这一行:

        在这一行的下面添加如下语句:

PermitRootLogin yes

(6)重启ssh服务

systemctl restart sshd

(7)完成链接

7、修改Ubuntu中的hosts文件

(1)进入目录

vim /etc/hosts

(2)加入如下内容

192.168.88.101 node1
192.168.88.102 node2
192.168.88.103 node3

8、为root用户创建ssh免密登录配置

(1)配置

(2)生成密钥

        输入如下语句,一路回车即可:

 ssh-keygen -t rsa -b 4096

(3)验证

(4)授权免密登录

在node1下执行如下语句,这里以node1中执行为例

·node1到node1免密登录

ssh-copy-id node1

·node1到node2免密登录

ssh-copy-id node2

·node1到node3免密登录

ssh-copy-id node3

9、为普通用户创建ssh免密登录

(1)为三台虚拟机创建hadoop用户

adduser:会自动为创建的用户指定主目录、系统shell版本,会在创建时输入用户密码。
useradd:需要使用参数选项指定上述基本设置,如果不使用任何参数,则创建的用户无密码、无主目录、没有指定shell版本。

这里强烈建议使用adduser,否则会在生成密钥时,出现“文件不存在报错”

adduser hadoop

(2)将三台虚拟机切换到hadoop用户

su hadoop

(3)生成密钥

        一直回车键即可,记着,三台虚拟机都要再生成一次密钥

ssh-keygen -t rsa -b 4096

(4)授权免密登录

这里请参考8、(4)进行操作

10、配置java的JDK

(1)创建目录

(2)上传文件和解压

安装rz,上传压缩包

解压文件

 tar -zxvf jdk-8u391-linux-x64.tar.gz -C /export/server/

验证

(3)创建软连接

ln -s /export/server/jdk1.8.0_391 jdk

(4)修改配置文件

vim /etc/profile
在配置文件中加入:
export JAVA_HOME=/export/server/jdk
export PATH=$PATH:$JAVA_HOME/bin

刷新

 source /etc/profile

验证:

(5)删除操作系统自带的java

rm -f /usr/bin/java

(6)将刚刚下载java软连接到usr的bin文件中

ln -s /export/server/jdk/bin/java /usr/bin/java

验证

11、关闭防火墙和SELinux

(1)下载防火墙

apt install firewalld

 (2)关闭防火墙

systemctl stop firewalld
 systemctl disable firewalld

(3)关闭selinux

在安装selinux之后,输入如下,进入配置文件进行修改

 vim /etc/selinux/config

将文件第七行进行如上修改即可

12、修改时区

(1)安装ntp

apt install ntp

 (2)更新时区

rm -f /etc/localtime;sudo ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

(3)同步时间

ntpdate -u ntp.aliyun.com

(4)启动ntp

systemctl status ntp
systemctl enable ntp #开机自启

(5)验证是否开机自启动

yang@node1:~$ systemctl is-enabled ntp
enabled

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/116331.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

蓝桥杯官网填空题(方格填数)

题目描述 本题为填空题,只需要算出结果后,在代码中使用输出语句将所填结果输出即可。 在 2 行 5 列的格子中填入 1 到 10 的数字。 要求: 相邻的格子中的数,右边的大于左边的,下边的大于上边的。 如下图所示的 …

鸿蒙LiteOs读源码教程+向LiteOS中添加一个简单的基于线程运行时的短作业优先调度策略

一、鸿蒙Liteos读源码教程 鸿蒙的源码是放在openharmony文件夹下,openharmony下的kernel文件夹存放操作系统内核的相关代码和实现。 内核是操作系统的核心部分,所以像负责:资源管理、任务调度、内存管理、设备驱动、进程通信的源码都可以在…

Qt学习:图形视图框架的使用

文章目录 前言一、场景、视图和图形项的介绍二、图形视图框架的坐标系统三、图形视图框架的事件处理四、示例完整代码五、QtCreator官方示例总结 前言 近期重温了一下Qt中的图形视图框架,这里将所学习的内容进行记录总结。这个框架提供了一个基于图形项的模型视图编…

MySQL InnoDB数据存储结构

1. 数据库的存储结构:页 索引结构给我们提供了高效的索引方式,不过索引信息以及数据记录都是保存在文件上的,确切说是存储在页结构中。另一方面,索引是在存储引擎中实现的,MySQL服务器上的存储引擎负责对表中数据的读…

【漏洞复现】Fastjson_1.2.47_rce

感谢互联网提供分享知识与智慧,在法治的社会里,请遵守有关法律法规 文章目录 1.1、漏洞描述1.2、漏洞等级1.3、影响版本1.4、漏洞复现1、基础环境2、漏洞检测3、漏洞验证 1.5、深度利用1、反弹Shell 说明内容漏洞编号漏洞名称Fastjson_1.2.47_远程执行漏…

【HarmonyOS】服务卡片 API6 JSUI跳转不同页面并携带参数

【关键字】 服务卡片、卡片跳转不同页面、卡片跳转页面携带参数 【写在前面】 本篇文章主要介绍开发服务卡片时,如何实现卡片点击跳转不同页面,并携带动态参数到js页面。在此篇文章“服务卡片 API6 JSUI跳转不同页面”中说明了如果跳转不同页面&#xf…

Py之auto-gptq:auto-gptq的简介、安装、使用方法之详细攻略

Py之auto-gptq:auto-gptq的简介、安装、使用方法之详细攻略 目录 auto-gptq的简介 1、版本更新历史 2、性能对比 推理速度 困惑度(PPL) 3、支持的模型 3、支持的评估任务 auto-gptq的安装 auto-gptq的使用方法 1、基础用法 (1)、量…

2023-11-04:用go语言,如果n = 1,打印 1*** 如果n = 2,打印 1*** 3*** 2*** 如果n = 3,打印

2023-11-04:用go语言,如果n 1,打印 1*** 如果n 2,打印 1***3*** 2*** 如果n 3,打印 1***3*** 2***4*** 5*** 6*** 如果n 4,打印 1***3*** 2***4*** 5*** 6***10** 9*** 8*** 7*** 输入…

立创eda专业版学习笔记(8)(运行模式)

以前没注意过这个问题,我有2台电脑,都能登录eda专业版,但是一台是全在线模式,另外一台是半离线模式,虽然是同一个账号,但是打开里面的工程会发现,两边的工程完全不同,因为一台的工程…

shell script 的默认变量$0,$1,$2...,参数偏移的shift

简单来说,在scirpt脚本里面,$0表示文件名,$1表示第一个参数,以此类推,还有 $# 后面接参数的个数 $ 代表"$1","$2","$3",每个都是独立的,用双引号括起来 $* 代…

APP攻防--ADB基础

进入app包 先使用 adb devices查看链接状态 手机连接成功的 adb shell 获取到手机的一个shell 此时想进入app包时没有权限的,APP包一般在data/data/下。没有执行权限,如图 Permission denied 权限被拒绝 此时需要手机root,root后输入 su …

Dual Personalization on Federated Recommendation

联合推荐的双重个性化 代码链接 论文链接 主要创新 文章的主要创新是提出了一种双重个性化机制,用于增强联邦推荐系统的性能。这种机制能够在联邦学习框架中为每个本地模型学习用户特定的物品嵌入,从而显著提升推荐系统的效果。通过在四个数据集上进行…

FreeRTOS-定时器\二值信号互斥信号\事件组

FreeRTOS整体知识框架可以参考下文: FreeRTOS整体知识框架 一. FreeRTOS定时器 FreeRTOS定时器 博文路径 FreeRTOS提供了一种软件定时器,用来快速实现一些周期性的操作,并且节约了硬件定时器。不过尽量还是不要做过多的操作,以免影响其他…

office2024下载详细安装教程

简单的说 Office 是一款由Microsoft 开发的一套办公软件,里面包含了常用的办公组件而其中就包含了Word、Excel、PowerPoint、Access等! 并且office是目前最常用的一类办公软件,使用它可以解决日常生活和工作中遇到的很多问题。 熟练掌握offi…

【信息安全原理】——IP及路由安全(学习笔记)

目录 🕒 1. IPv4协议及其安全性分析🕒 2. IPsec(IP Security)🕘 2.1 IPsec安全策略🕤 2.1.1 安全关联(Security Association, SA)🕤 2.1.2 安全策略(Security…

【lvgl】linux开发板搭建环境

前言 本章介绍如何在linux开发板准备好了fb0的情况下移植lvgl。 抓取源码 git clone https://github.com/lvgl/lvgl.git git clone https://github.com/lvgl/lv_drivers.git git clone https://github.com/lvgl/lv_demos.git git clone https://github.com/lvgl/lv_port_lin…

【教3妹学编程-算法题】使数组变美的最小增量运算数

2哥 : 3妹,脸上的豆豆好了没呢。 3妹:好啦,现在已经没啦 2哥 : 跟你说很快就会消下去的,还不信~ 既然你的容颜和心情都如此美丽,那我们就再做一道关于美丽的题吧。 3妹:切,2哥就会取笑我&#x…

搬家两年随笔

不知不觉中,我已经搬到这个地方两年多了。 回首这段时间,我感触颇深。 尽管这里地理位置较为偏僻,交通不是特别方便,但环境优美,绿树成荫,空气清新。 只是相对于之前的生活环境,这里离上班的地方…

【入门Flink】- 02Flink经典案例-WordCount

WordCount 需求&#xff1a;统计一段文字中&#xff0c;每个单词出现的频次 添加依赖 <properties><flink.version>1.17.0</flink.version></properties><dependencies><dependency><groupId>org.apache.flink</groupId><…

根据Word模板,使用POI生成文档

突然想起来有个小作业&#xff1a;需要根据提供的Word模板填充数据。这里使用POI写了一个小demo验证下。 测试用模板&#xff1a; 执行结果 1.引入依赖坐标 <dependency><groupId>org.apache.poi</groupId><artifactId>poi-ooxml</artifactId&…
最新文章