【hive】远程remote debug hive的方法,用于hive监听器/钩子编写

背景

写hive监听器时候需要拿到hive对象但hive是在集群linux主机上运行的。通过jdbc提交的sql具体执行过程不会再idea中运行。所以如果需要拿到hive对象有可能存在两个思路:
(1)想办法写个钩子或者监听器,将需要的内容写成json字符串,在复制出来,在IDE中反序列化,然后回放。这个过程有个缺陷,如org.apache.hadoop.hive.ql.QueryPlan虽然继承了java.io.Serializable但是实际使用中需要内部各个成员变量都支持序列化,java没法做到编译检查。所以不可行。
(2)使用remote debug功能,可能社区版Community的IDEA没有此功能。

使用方法

先help看下:
在这里插入图片描述

hiveserver2启动方法:

# 默认开启本地8000端口号,日志里边有显示
$HIVE_HOME/bin/hive --debug --service hiveserver2 &

在这里插入图片描述此时需要在IDE(这里以IDEA举例说明)连接此端口,hiveserver2才会继续运行,否则将一直阻塞(docker里测试不生效不知道为啥)
如果集群有多个hiveserver2,选择一个hiveserver2即可。idea连接指定好host即可。
在这里插入图片描述
在这里插入图片描述IDEA连接了远程端口后,远端的hiveserver2就会继续运行了。

以下以钩子为例:org.apache.hadoop.hive.ql.hooks.ExecuteWithHookContext
在这里插入图片描述
在hive中执行大多数操作都会触发此断点。
如:show tables; use database ...; insert into table ...;
当然断点也可以打到hive自己的类上。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/538651.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

AIX7.2下安装xlc编译器

AIX镜像中对于xlc的支持仅为提供了runtime,而没有对应的xlc编译器。 IBM的xlc编译器需要单独购买,如果不想购买可以注册IBM的账号下载一个60天的试用版。 下载地址: IBM 中国官方网站 (AIX各个版本和xlc编译器版本的兼容性可以…

php未能在vscode识别?

在设置里搜php,找到settings.json,设置你的安装路径即可。 成功

Qt Creator 12.0.2 debug 无法查看变量的值 Expression too Complex

鼠标放在局部变量上提示“expression too complex”。 在调试窗口也看不到局部变量的值。 这应该是qt的一个bug,https://bugreports.qt.io/browse/QTCREATORBUG-24180 暂时解决方法: 如下图,需要右键项目然后执行"Clean"和&quo…

2022年全国青少年信息素养大赛Python国赛第1-10题,含解析答案

01-分苹果 把一堆苹果分给n个小朋友,每个人拿到的苹果数量不同,并且每个人至少有一个。任意输入小朋友的数量n,问这堆苹果至少应该有多少个。输入描述:任意输入小朋友的数量n输出描述:输出这堆苹果至少应该有多少个 样例输入: 3 样例输出: 6 注意: input()内不添…

李彦宏放话:百度AI大模型绝不抢开发者饭碗

关注卢松松,会经常给你分享一些我的经验和观点。 昨晚,李彦宏内部讲话称:AI大模型开源意义不大,百度绝不抢开发者饭碗。 但你一定要说话算话哦,可千万别说:“我永远不做手机,谁再敢提做手机就给…

#esp8266模块通过AT指令获取网络时间(苏宁时间)

一、IDE:keil、cubemx、Arduino......... 二、记录: 1.依次发送以下指令(发送新行) AT ATCWMODE1 ATCWDHCP1,1 ATCWJAP"Redmi K40 Gaming","87654321" ATCIPSTART"TCP","quan.suning.com&quo…

1分钟以上情感短视频素材去哪里找?推荐五个素材网站

在这个充斥着各种短视频的世界里,我就像是一名寻宝的冒险家,不断在素材的海洋中潜水,寻找那些能让我的视频金光闪闪的珍珠。让我告诉你,这不仅仅是一场寻宝,这简直是一场奇妙的冒险。九才素材网: 我的创作…

万字长文|Sam Altman创业手册(中)

Sam Altman,现任Open AI CEO,曾任美国著名创业孵化器Y Combinator最年轻的总裁(不到30岁),被《福布斯》等媒体誉为“ChatGPT之父”,被《商业周刊》评为"技术领域最优秀的年轻企业家",…

车载网关设计方案,开发无线车载网关需要考虑哪些因素?

随着智能车企之间的竞争日益加剧,各车企竞相推出新款智能汽车,并不断拓展车联网生态,以更加优质的用车体验来增强产品竞争力,进而深化用户忠诚度。这一举措不仅提升了车辆的功能性和智能化水平,更在激烈的市场竞争中为…

C/C++进阶/架构师(后端/音视频/游戏/嵌入式/高性能网络/存储/基础架构/安全)开发学习路线、系统性学习教程

C学习可以划分为几个主要阶段,每个阶段的学习目标和推荐资源都有所不同。下面是一个详细的分阶段学习指南: 入门阶段 学习目标 理解C的基本语法和结构。学习基本数据类型,条件判断,循环等控制结构。掌握函数的使用方法。初步了…

精确计量,中央空调计费系统

在传统的中央空调系统中,由于缺乏精确的计量手段,用户往往面临着电费分摊的不公平问题。为了解决这一难题,出现了一种智能电费分摊技术,它能够对中央空调的使用情况进行精确计量,从而实现公平合理的电费分配。 空调分户…

解决PyCharm更新到2024.1版本后不能运行项目的问题

先来看看这个问题的表现吧。 1、运行和调试按钮是灰色的,并且显示编辑器中的文件不可运行,代码也是灰色的,还有我们的python文件的图标和文本文件的图标一样。 当然右键也是没有运行、调试选项。 2、无法创建新的项目和py文件,能…

44.基于SpringBoot + Vue实现的前后端分离-汽车租赁管理系统(项目 + 论文PPT)

项目介绍 本站是一个B/S模式系统,采用SpringBoot Vue框架,MYSQL数据库设计开发,充分保证系统的稳定性。系统具有界面清晰、操作简单,功能齐全的特点,使得基于SpringBoot Vue技术的汽车租赁管理系统设计与实现管理工作…

两台群晖之间如何进行文件传递

前言:应用场景 我有台6版本的黑群晖,上面有很多共享文件,文件大小不一,有的就是几十KB的文档,有些又是上G的视频文件,存放的目录也没有什么规律可言。最近上线了一台硬件的正版群晖,7的版本&…

基于变量间注意机制的Transformer多元时间序列异常检测

论文地址:https://www.sciencedirect.com/science/article/abs/pii/S0950705124001424 论文源码:无 期刊:Knowledge-Based Systems 多变量时间序列异常检测的主要目标是在不同传感器和系统同时编译的时间序列数据中发现与规则模式的偏差。这…

学习数通HCIE选择誉天有什么优势?

誉天数通课程亮点 课程内容详实,千万级实训环境 涵盖数通技术全场景热门技术,涉及传统园区网,虚拟化园区网,广域互联技术,数据中心网络,网络自动化运维 专业机房环境,全真机教学演示&#xf…

机器学习和深度学习-- 李宏毅(笔记与个人理解)Day 14

Day 14 Classfication (short version) 二分类的时候 用sigmoid 那不就是 logistic 回归嘛(softmax 的二分类等价) Loss 哦 今天刚学的 ,KL散度 ,看来cross-entropy 和KL散度是等价的咯~ 我感觉我的直觉没错 这里MSE离得很远的时候…

qt调试日志文件生成

系列文章目录 第一章 qt日志文件生成功能 文章目录 系列文章目录前言一、qt日志文件生成功能二、使用步骤1.代码示例2.运行截图 前言 qt有固定的调试日志接口,可以通过终端去打印,但是仅适用在本地去调试,例如想长期放到测试台去检测&#…

Linux入门(Linux介绍,安装,常用命令,防火墙的设置,注意事项)

目录 一、Linux介绍 1. Linux简介 1 什么是Linux 2 Linux的应用 3 为什么要学习Linux 2. Linux分类 1 按照市场需求分 2 按照原生程度分 3.小结 二、Linux安装 1. vmware介绍 2. 安装VMWare 3. 安装CentOS 4. 登录查看ip 5. 远程连接工具 1 使用FinalShell连接L…

算法练习第16天|101. 对称二叉树

101. 对称二叉树 力扣链接https://leetcode.cn/problems/symmetric-tree/description/ 题目描述: 给你一个二叉树的根节点 root , 检查它是否轴对称。 示例 1: 输入:root [1,2,2,3,4,4,3] 输出:true示例 2&#x…
最新文章