Hadoop 之 Hive 4.0.0-alpha-2 搭建（八）

Hadoop 之 Hive 搭建与使用

  • 一.Hive 简介
  • 二.Hive 搭建
    • 1.下载
    • 2.安装
      • 1.解压并配置 HIVE
      • 2.修改 hive-site.xml
      • 3.修改 hadoop 的 core-site.xml
      • 4.启动
  • 三.Hive 测试
    • 1.基础测试
    • 2.建库建表
    • 3.Java 连接测试
      • 1.Pom依赖
      • 2.Yarm 配置文件
      • 3.启动类
      • 4.配置类
      • 5.测试类

一.Hive 简介

Hive 是基于 Hadoop 的数据仓库工具，可以提供类 SQL 查询能力

二.Hive 搭建

1.下载

Hive 官网

Hive 下载地址（自选版本）

在这里插入图片描述

MySQL Java 驱动下载

在这里插入图片描述

2.安装

1.解压并配置 HIVE

## 1.创建安装目录
mkdir -p /usr/local/hive
## 2.将压缩包拷贝到服务器并解压
tar zxvf apache-hive-4.0.0-alpha-2-bin.tar.gz -C /usr/local/hive/
## 3.添加环境变量并刷新
echo 'export HIVE_HOME=/usr/local/hive/apache-hive-4.0.0-alpha-2-bin' >> /etc/profile
echo 'export PATH=${HIVE_HOME}/bin:${PATH}' >> /etc/profile
source /etc/profile
## 4.进入安装目录
cd $HIVE_HOME/conf
## 5.复制 hive-env.sh.template 并修改配置
cp hive-env.sh.template hive-env.sh
echo 'export JAVA_HOME=/usr/local/java/jdk-11.0.19' >> hive-env.sh
echo 'export HADOOP_HOME=/usr/local/hadoop/hadoop-3.3.6' >> hive-env.sh
echo 'export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop' >> hive-env.sh
echo 'export HIVE_HOME=/usr/local/hive/apache-hive-4.0.0-alpha-2-bin' >> hive-env.sh
echo 'export HIVE_CONF_DIR=${HIVE_HOME}/conf' >> hive-env.sh
echo 'export HIVE_AUX_JARS_PATH=${HIVE_HOME}/lib' >> hive-env.sh
## 6.复制 mysql-connector-j-8.0.33.jar 到 ${HIVE_HOME}/lib
tar zxvf mysql-connector-j-8.0.33.tar.gz
cp mysql-connector-j-8.0.33/mysql-connector-j-8.0.33.jar ${HIVE_HOME}/lib/
## 7.复制 cp hive-default.xml.template 并修改配置
cp hive-default.xml.template hive-site.xml

2.修改 hive-site.xml

使用 MobaXterm 连接虚拟机，并用文本编辑工具打开 hive-site.xml 修改：

在这里插入图片描述

注释掉同名的默认配置，或参考下面信息，直接修改默认配置值
同时全局替换下面两个变量值，避免 hiveserver2 启动报错
1.${system:java.io.tmpdir} => /tmp （Linux 系统默认的临时目录）
2.${system:user.name}      => root （本系统当前操作用户名）
3.hive.server2.thrift.client.user 配置用户 root , 同时需要修改 hadoop 的 core-site.xml 为 root  配置代理信息
4.hadoop 集群搭建参考前面文章


  <!--配置 Hive Metastore 此处使用 mysql & 转义 &amp;-->
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://192.168.1.201:3306/hive?characterEncoding=UTF8&amp;createDatabaseIfNotExist=true&amp;serverTimezone=GMT%2B8&amp;useSSL=false&amp;allowPublicKeyRetrieval=true</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.cj.jdbc.Driver</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>admin</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>12345678</value>
  </property>
  <property>
    <name>datanucleus.schema.autoCreateAll</name>
    <value>true</value>
  </property>
  <!-- nn 配置主机地址/用户/密码 -->
  <property>
    <name>hive.server2.thrift.bind.host</name>
    <value>nn</value>
  </property>
  <property>
    <name>hive.server2.thrift.client.user</name>
    <value>root</value>
    <description>Username to use against thrift client. default is 'anonymous'</description>
  </property>
  <property>
    <name>hive.server2.thrift.client.password</name>
    <value>123456</value>
    <description>Password to use against thrift client. default is 'anonymous'</description>
  </property> 
  <property>
    <name>hive.metastore.event.db.notification.api.auth</name>
    <value>false</value>
  </property>
  <property>
    <name>hive.server2.active.passive.ha.enable</name>
    <value>true</value>
  </property>

  <property>
    <name>hive.metastore.warehouse.dir</name>
    <value>hdfs://nn:9000/user/hive/warehouse</value>
    <description>hdfs 地址</description>
  </property>
  <property>
    <name>hive.metastore.schema.verification</name>
    <value>true</value>
  </property>
  <property>
    <name>hive.metastore.uris</name>
    <value>thrift://nn:9083</value>
  </property>

初始化元数据

在这里插入图片描述

查看库 Hive

在这里插入图片描述

3.修改 hadoop 的 core-site.xml

## 1.进入配置目录
cd $HADOOP_HOME//etc/hadoop
## 2.修改 core-site.xml
vim core-site.xml
## 3.增加以下内容
    <property>
      <name>hadoop.proxyuser.root.hosts</name>
      <value>*</value>
    </property>
    <property>
     <name>hadoop.proxyuser.root.groups</name>
     <value>*</value>
    </property>

在这里插入图片描述

4.启动

## 1.初始化
schematool -initSchema -dbType mysql
## 2.启动 hadoop 集群
cd $HADOOP_HOME/sbin && start-all.sh
## 3.启动 hive
mkdir -p /var/log/hive
cd ${HIVE_HOME}/bin
nohup hive --service metastore 2>&1 >> /var/log/hive/metastore.log &
nohup hive --service hiveserver2 2>&1 >> /var/log/hive/hiveserver2.log &

## 4.杀死 hive 进程
kill -9 `ps aux | grep hiveserver2 | grep -v grep | awk '{print $2}'`
kill -9 `ps aux | grep metastore | grep -v grep | awk '{print $2}'`

查看 Java 进程：jps

在这里插入图片描述

查看端口占用：lsof -i -P -n | grep LISTEN

在这里插入图片描述

查看默认日志：tail -200f /tmp/root/hive.log

在这里插入图片描述

日志发现一个报错：java.sql.SQLException: Referencing column 'ACTIVE_EXECUTION_ID' and referenced column 'SCHEDULED_EXECUTION_ID' in foreign key constraint 'SCHEDULED_EXECUTIONS_SCHQ_ACTIVE' are incompatible.
因为 MySQL 版本为 8.0.33，可能导致了主外键字段类型不一致时的异常
对应初始化后的表和字段分别为：
SCHEDULED_EXECUTIONS - SCHEDULED_EXECUTION_ID
SCHEDULED_QUERIES    - ACTIVE_EXECUTION_ID
原来这两个字段一个为 int ，一个为 bigint 统一为 bigint 后就不报错了

三.Hive 测试

1.基础测试

## 1.控制台连接
hive
## 2.连接并输入用户名、密码
!connect jdbc:hive2://nn:10000
## 3.查看库
show databases;
## 4.退出
!quit

在这里插入图片描述

UI 访问：http://192.168.1.6:10002/

在这里插入图片描述

hdfs 查看: http://192.168.1.6:9870/explorer.html#/tmp/hive/root

在这里插入图片描述

2.建库建表

## 1.建库并设置存储位置
create database if not exists animal_db
comment "This is animal database"
location '/hive_database/animal_db';
## 2.查看库
show databases;
## 3.切换库
use animal_db;
## 4.创建表
create table if not exists dog_tb(name string,breed string,area string,feature string)
row format delimited fields terminated by ';';
## 5.从本地文件加载数据
load data local inpath '/home/dog_tb.txt' into table dog_tb;
## 6.查看数据
select * from dog_tb;
## 7.删除表
drop table dog_tb;
## 7.强制删库
drop database animal_db cascade ;

在这里插入图片描述

在这里插入图片描述

dog_tb.txt 
bomei;small;germany;white,small
bianmu;big;scotland;clever
tugou;all;china;clever,loyalty

3.Java 连接测试

1.Pom依赖

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>org.example</groupId>
    <artifactId>hive-demo</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <maven.compiler.source>11</maven.compiler.source>
        <maven.compiler.target>11</maven.compiler.target>
        <spring.version>2.7.8</spring.version>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
            <version>${spring.version}</version>
        </dependency>
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <version>1.18.28</version>
        </dependency>
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>2.0.32</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-jdbc</artifactId>
            <version>4.0.0-alpha-2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>3.3.6</version>
        </dependency>


    </dependencies>

</project>

2.Yarm 配置文件

config:
    hivedriverClassName: org.apache.hive.jdbc.HiveDriver
    hiveurl: jdbc:hive2://192.168.1.6:10000/animal_db
    hiveusername: root
    hivepassword: 123456

3.启动类

package org.example;

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;

/**
 * @author Administrator
 */
@SpringBootApplication
public class HiveApp {

    public static void main(String[] args) {
        //启动触发
        SpringApplication.run(HiveApp.class,args);
    }
}

4.配置类

package org.example.config;

import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.boot.context.properties.ConfigurationProperties;
import org.springframework.context.annotation.Bean;
import org.springframework.stereotype.Component;

import java.sql.Connection;
import java.sql.DriverManager;
import java.util.Properties;

/**
 * @author Administrator
 * @Description
 * @create 2023-08-02 21:42
 */
@Component
public class HiveConfig {

    @Bean("hiveProperties")
    @ConfigurationProperties(prefix = "config")
    public Properties getConfig(){
        return new Properties();
    }

    @Bean
    public Connection start(@Qualifier("hiveProperties") Properties properties){
        try {
            String url = (String) properties.get("hiveurl");
            String user = (String) properties.get("hiveusername");
            String password = (String) properties.get("hivepassword");
            Connection conn = DriverManager.getConnection(url,user,password);
            conn.setAutoCommit(true);
            return conn;
        } catch (Exception e) {
            System.out.println(e);
        }
        return null;
    }
}

5.测试类

package org.example.controller;

import lombok.extern.slf4j.Slf4j;
import org.apache.commons.lang.StringUtils;
import org.apache.hive.jdbc.HivePreparedStatement;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

import java.sql.Connection;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.util.ArrayList;
import java.util.Arrays;
import java.util.List;

/**
 * @author Administrator
 * @Description
 * @create 2023-08-02 21:42
 */
@Slf4j
@RestController
@RequestMapping("/hive")
public class HiveController {

    /**
     * 注入连接类
     */
    @Autowired
    Connection conn;

    /**
     * 列
     */
    List<String> columns = Arrays.asList("name","breed","area","feature");

    /**
     * 插入
     * @throws SQLException
     */
    @GetMapping("/insert")
    public void insert() throws SQLException {
        String sql = "insert into dog_tb values (?,?,?,?)";
        HivePreparedStatement pStSm= (HivePreparedStatement) conn.prepareStatement(sql);
        pStSm.setString(1, "keji");
        pStSm.setString(2, "small");
        pStSm.setString(3, "welsh");
        pStSm.setString(4, "friendly");
        pStSm.executeUpdate();

    }

    /**
     * 查询
     * @return
     * @throws SQLException
     */
    @GetMapping("/query")
    public List<String> query(int index,String value) throws SQLException {
        List<String> list = new ArrayList<>();
        String sql = "select * from dog_tb";
        if (index > 0 && StringUtils.isNotEmpty(value)){
            sql = "select * from dog_tb where name = ?";
        }
        HivePreparedStatement pStSm= (HivePreparedStatement) conn.prepareStatement(sql);
        if (index >= 0 && StringUtils.isNotEmpty(value)){
            pStSm.setString(index, value);
        }
        ResultSet resultSet = pStSm.executeQuery();
        StringBuilder builder = new StringBuilder();
        while (resultSet.next()){
            builder.setLength(0);
            for (String col:columns){
                builder.append(resultSet.getString(col)).append(";");
            }
            String result = builder.substring(0,builder.length()-1);
            list.add(result);
            log.info("row: {}",result);
        }
        return list;
    }

}

在这里插入图片描述
在这里插入图片描述

如果插入或查询报错可通过如下位置查询报错信息

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mfbz.cn/a/60201.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

Nginx的搭建与核心配置

Nginx的搭建与核心配置

一、Nginx 1、Nginx概述 一款高新能、轻量级Web服务软件系统资源消耗低对HTTP并发连接的处理能力高单台物理服务器可支持30 000&#xff5e;50 000个并发请求。 2、Nginx主要功能&#xff1a; 静态文件服务&#xff1a;nginx可直接提供静态文件服务&#xff0c;HTML、CSS、J…
阅读更多...
STM32CubeMX+VSCODE+EIDE+RT-THREAD 工程创建

STM32CubeMX+VSCODE+EIDE+RT-THREAD 工程创建

Eide环境搭建暂且不表&#xff0c;后续补充。主要记录下Vscode环境下 创建Rt-thread工程的过程。分别介绍STM32CubeMX添加rtt支持包的方式和手动添加rtt kernel方式。STM32CubeMX生成工程的时候有"坑"&#xff0c;防止下次忘记&#xff0c;方便渡一下有缘人&#xff…
阅读更多...
maven发布到中央仓库

maven发布到中央仓库

创建账号 https://issues.sonatype.org 【第二步】登录申请新项目 右上角点击Create&#xff0c;Project选择第一项&#xff0c;有的时候带不出来第二个New Project&#xff0c;可以再选一次Project的选项。
阅读更多...
centos7 ‘xxx‘ is not in the sudoers file...

centos7 ‘xxx‘ is not in the sudoers file...

如题 执行命令输入密码后时报错&#xff1a; [sudo] password for admin &#xff08;我的账户&#xff09;原因&#xff0c;当前用户还没有加入到root的配置文件中。 解决 vim打开配置文件&#xff0c;如下&#xff1a; #切换到root用户 su #编辑配置文件 vim /etc/sudoe…
阅读更多...
2023软件测试面试热点300问（接口自动化测试篇）

2023软件测试面试热点300问（接口自动化测试篇）

分享100道涉及到的接口自动化测试面试题&#xff0c;供大家参考&#xff1a; 我已经把这些面试题全部整理在一个文档里面了&#xff0c;同时还有这些面试题的视频教程分享&#xff0c;全部放在文末了&#xff0c;需要的可以直接去观看&#xff0c;或者直接点击文末小卡片免费领…
阅读更多...
路由器DHCP实验

路由器DHCP实验

拓扑图 配置 # 配置ip地址并开启dhcp [Huawei]int g0/0/0 [Huawei-GigabitEthernet0/0/0]ip addr 192.168.1.1 255.255.255.0 [Huawei-GigabitEthernet0/0/0]dhcp enable## 配置dns地址 [Huawei-GigabitEthernet0/0/0]dhcp dns-list 192.168.1.5## 指定某个接口开通DHCP 功能…
阅读更多...
Zebec Payroll ：计划推出 WageLink On-Demand Pay，进军薪酬发放领域

Zebec Payroll ：计划推出 WageLink On-Demand Pay，进军薪酬发放领域

“Zebec Protocol 生态旨以 Web3 的方式建立全新的公平秩序&#xff0c;基于其流支付体系构建的薪酬支付板块&#xff0c;就是解决问题的一把利刃” Zebec Protocol 在创立之初就有着一个十分宏大的愿景&#xff0c;其希望通过 Web3 的方式来进一步打破世界上一些不公平现象。 …
阅读更多...
【小沐学NLP】在线AI绘画网站（百度：文心一格）

【小沐学NLP】在线AI绘画网站（百度：文心一格）

文章目录 1、简介2、文心一格2.1 功能简介2.2 操作步骤2.3 使用费用2.4 若干示例2.4.1 女孩2.4.2 昙花2.4.3 山水画2.4.4 夜晚2.4.5 古诗2.4.6 二次元2.4.7 帅哥 结语 1、简介 当下&#xff0c;越来越多AI领域前沿技术争相落地&#xff0c;逐步释放出极大的产业价值&#xff0…
阅读更多...
OpenCV之信用卡识别实战

OpenCV之信用卡识别实战

文章目录 代码视频讲解模板匹配文件主程序(ocr_template_match.py)myutils.py 代码 链接: https://pan.baidu.com/s/1KjdiqkyYGfHk97wwgF-j3g?pwdhhkf 提取码: hhkf 视频讲解 模板匹配文件 主程序(ocr_template_match.py) # 导入工具包 from imutils import contours # 从…
阅读更多...
【LeetCode】236.二叉树的最近公共祖先

【LeetCode】236.二叉树的最近公共祖先

题目 给定一个二叉树, 找到该树中两个指定节点的最近公共祖先。 百度百科中最近公共祖先的定义为&#xff1a;“对于有根树 T 的两个节点 p、q&#xff0c;最近公共祖先表示为一个节点 x&#xff0c;满足 x 是 p、q 的祖先且 x 的深度尽可能大&#xff08;一个节点也可以是它…
阅读更多...
刷了3个月的华为OD算法题，总结了270多道，谈谈自己的感悟

刷了3个月的华为OD算法题，总结了270多道，谈谈自己的感悟

目录 一、考研二战&#xff0c;入职华为&#xff0c;反向调剂电子科大深圳二、题目描述三、输入描述四、输出描述五、解题思路六、Java算法源码七、效果展示1、输入2、输出3、说明 大家好&#xff0c;我是哪吒。 最近一直在刷华为OD机试的算法题&#xff0c;坚持一天三道题的节…
阅读更多...
STL空间配置器入门

STL空间配置器入门

STL简介 　　STL&#xff08;Standard Template Library&#xff0c;标准模板库&#xff09;&#xff0c;从根本上说&#xff0c;STL是一些“容器”的集合&#xff0c;这些“容器”有list,vector,set,map等&#xff0c;STL也是算法和其他一些组件的集合。 谈及组件&#xff0c…
阅读更多...
如何在免费版 pycharm 中使用 github copilot (chatGPT)？

如何在免费版 pycharm 中使用 github copilot (chatGPT)？

起因 在 vscode 中使用了 github copilot 以后&#xff0c;感觉这个人工智能还不错。 但 vscode 对于 python 项目调试并不是特别方便&#xff0c;所以想在 Pycharm 中也能使用同一个 github 账号&#xff0c;用上 copilot 的功能。 不需要等待&#xff0c;安装即用&#xff…
阅读更多...
C++和Lua交互总结

C++和Lua交互总结

C和Lua交互总结 Chapter1. C和Lua交互总结一、Lua与C的交互机制——Lua堆栈二、堆栈的操作三、C 调用 Lua1&#xff09;C获取Lua值2&#xff09;C调用Lua函数示例&#xff1a; 四、Lua 调用 C包装C函数 最后总结一下 Chapter1. C和Lua交互总结 原文链接&#xff1a;https://bl…
阅读更多...
数据结构: 线性表(带头双向循环链表实现)

数据结构: 线性表(带头双向循环链表实现)

之前一章学习了单链表的相关操作, 但是单链表的限制却很多, 比如不能倒序扫描链表, 解决方法是在数据结构上附加一个域, 使它包含指向前一个单元的指针即可. 那么怎么定义数据结构呢? 首先我们先了解以下链表的分类 1. 链表的分类 链表的结构非常多样, 以下情况组合起来就有…
阅读更多...
【图论】无向图连通性（tarjan算法）

【图论】无向图连通性（tarjan算法）

割边&#xff1a;dfn[u]<low[v] 割点&#xff1a;dfn[u]<low[v] (若为根节点&#xff0c;要有两个v这样的点) 一.知识点&#xff1a; 1.连通&#xff1a; 在图论中&#xff0c;连通性是指一个无向图中的任意两个顶点之间存在路径。如果对于图中的任意两个顶点 u 和 v&…
阅读更多...
06 HTTP（下）

06 HTTP（下）

06 HTTP&#xff08;下&#xff09; 介绍服务器如何响应请求报文&#xff0c;并将该报文发送给浏览器端。介绍一些基础API&#xff0c;然后结合流程图和代码对服务器响应请求报文进行详解。 基础API部分&#xff0c;介绍stat、mmap、iovec、writev。 流程图部分&#xff0c;描…
阅读更多...
写材料使用恰当的词汇和专业术语，不要使用生僻或不恰当的词汇

写材料使用恰当的词汇和专业术语，不要使用生僻或不恰当的词汇

注意使用恰当的词汇和专业术语是公文写作中的关键&#xff0c;不要使用过于生僻或不恰当的词汇。 首先&#xff0c;在选择词汇和专业术语时&#xff0c;需要了解公文所涉及的领域和专业知识。对于不同领域和专业的公文&#xff0c;需要选择恰当的词汇和术语&#xff0c;以确保公…
阅读更多...
Akuity Certified ArgoCD课程学习与认证

Akuity Certified ArgoCD课程学习与认证

今天是「DevOps云学堂」与你共同进步的第 48天 第⑦期DevOps实战训练营 7月15日已开营 实践环境升级基于K8s和ArgoCD 本文主要分享&#xff0c;如何免费地参与由Akuity Academy提供的ArgoCD GitOps 培训课程并取得认证证书。 目前Akuity Academy只发布了Introduction to Contin…
阅读更多...
王道计网 第四章笔记

王道计网 第四章笔记

4.1 生活在网络层的“工人”是路由器，他负责各种异构网络的连接，但是因为他只生活在前三层所以从网络层之上的东西他不能管理，所以网路层之上的数据对于路由器来说必须是相同的、透明的。 常见的网络层协议有IP 和 ICMPTCP IP传输层协议FTP应用层协议一句话区分IP和MAC地址…
阅读更多...
最新文章

Copyright @ 2022~2023

友情链接： 我的编程经验分享 一条长河网 尧图网站开发 尧图建网站