RoNID:通过生成可靠标签与聚类友好型表征来实现新意图的发现

论文地址:https://arxiv.org/abs/2404.08977

原文地址:intents-are-not-going-away-ronid-is-a-new-intent-discovery-framework

2024 年 4 月 26 日

Robust New Intent Discovery(RoNID)框架致力于在开放域场景中识别已知意图并合理推断新意图组。

问题

传统的聊天机器人系统严重依赖意图。意图完全基于预先定义的(通常是经过深思熟虑的)假设,即用户想要进行的对话。

因此,传统意图的能力有限,只能识别预定义和受限的意图类别。解决聊天机器人这一问题的尝试包括域外检测和知识库回退,这些方法最近已演变成 RAG 方法。

新的用户意图不断从面向客户的实施中出现,这些新意图通常来自向组织引入的新产品和服务。或者系统故障、产品缺陷或产品或服务上线问题等等。

这些新的意图需要动态地发现和聚集。 RoNiD 旨在创建一个框架,其中通过弱监督包括 RLHF,在该框架中识别新意图并确认伪标签。

介绍

该研究的重点是建立可靠的伪标签并获得聚类友好的判别表示。

使用的两个模型是:

  1. 可靠的伪标签生成模块
  2. 聚类友好的表示学习模块。

文本描述了一个名为 RoNID 的过程,它生成可靠的合成标签和聚类友好的表示。

简单来说,这意味着 RoNID 创建准确的标签并以更易于理解的方式组织数据。这是通过两个主要步骤完成的:

标签生成

RoNID通过解决特定问题为数据分配准确的标签;这有助于为进一步分析提供明确的指导。

表征学习

RoNID 组织数据,以便相似的项目被分组在一起(聚类紧凑性),而不同的组被很好地分开(聚类间分离)。此步骤可以更轻松地查看数据中的模式和差异。

通过重复这些步骤,RoNID 创建了一个具有准确标签和组织良好的数据的可靠模型。测试表明,该方法大大优于以前的技术,在各种基准测试中将结果提高了 1 到 4 个点。

意图与对话

准确理解和识别用户意图对于下游面向任务的对话系统非常重要,它直接影响用户体验。如果意图识别不正确,则呈现给用户的对话流与用户的意图不匹配。

随后,用户试图从一个流程转移到另一个流程;如果没有计划好这种转移,用户会感到更加沮丧。

Out-Of-Domain

上面的场景(a)展示了已知意图和新意图是如何被分组的。而场景(b)展示了RoNID方法,其中已知意图和新的/未知的意图是基于可靠的伪标签和聚类表征被分离的。

NID

半监督 NID 通常采用 k-means 算法进行伪标签分配并学习判别意图特征。

RoNID 框架通过在一个步骤中解决特定问题来获得可靠的伪标签,在另一个步骤中,它通过组合不同类型的损失来学习以一种易于理解的方式组织数据。

最后

在这项研究中,研究人员引入了针对 NID 问题的 EM-optimised RoNID 框架。它由两个主要部分组成:可靠的伪标签生成模块和聚类友好的表示学习模块。

伪标签生成模块通过解决特定问题分配精确的伪标签来确保准确的监督。表示学习模块通过关注簇内和簇间差异来提高表示的质量。这有助于区分已知意图和新意图。

他们的实验表明 RoNID 是有效的,并且比以前最先进的方法表现得更好。

RoNID 使用迭代方法通过创建可靠的伪标签并将数据组织到集群中来提高模型性能。

该方法包括三个主要步骤:

  1. 首先,使用标记和未标记数据预训练特征提取器,以实现更好的知识迁移。
  2. 然后,通过解决特定问题来提高伪标签的准确性。
  3. 最后,引入簇内和簇间对比学习,为已知和新颖的意图创建不同的表示簇。

为了给表示学习模块提供高质量的监督信号,该研究提出生成可靠的伪标签来指导模型训练,从而将无监督训练样本转化为伪监督样本。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/589257.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

树莓派控制步进电机(上):硬件连接

目录 说明 硬件连接 DM542的连接方法 树莓派的连接方法 参考文献 说明 最近需要测试树莓派控制步进电机的功能,在查阅网上资料的基础上做了一些整理和测试,特别记录在此。这里我们使用的是树莓派4B开发板,步进电机为6线两相步进电机&am…

探索APP分发的含义和小猪APP分发平台的优势(小猪APP分发平台)

一、APP分发的基本含义 APP分发指的是将开发完成的APP通过特定渠道推广给用户的过程。这个过程涵盖探索APP分发的含义和小猪APP分发平台的优势了从提交、审核到发布的全过程探索APP分发的含义和小猪APP分发平台的优势,目的是让APP更好地触达潜在用户探索APP分发的含…

AI时代程序员必备的22个网站,你了解多少?

博主猫头虎的技术世界 🌟 欢迎来到猫头虎的博客 — 探索技术的无限可能! 专栏链接: 🔗 精选专栏: 《面试题大全》 — 面试准备的宝典!《IDEA开发秘籍》 — 提升你的IDEA技能!《100天精通鸿蒙》 …

2024-05-02 商业分析-杭州小万科技-商业模式分析

摘要: 对杭州小万科技的商业模式进行分析,以对其做出客观的评估。 杭州小万科技的资料: 杭州小万科技有限公司 - 企知道 (qizhidao.com) 杭州小万科技有限公司网站备案查询 - 天眼查 (tianyancha.com) 杭州小万科技有限公司 - 爱企查 (baidu.com) ​ 2023年年报:

高中数学:三角函数公式汇总及推导

一、定义 常用三角函数值 参考: 三角函数定义 二、基本三角函数及相互关系 sinx cosx tanx cscx secx cotx 函数间相互关系 参考: cosx、sinx、tanx的函数图像与性质 secx、cscx、cotx函数图像及相关关系 三、诱导公式 口诀:奇变…

【Python文字识别】基于HyperLPR3实现车牌检测和识别(Python版本快速部署)

闲来无事,想复现一下网上的基于YOLO v5的单目测距算法。然后就突然想在这个场景下搞一下车牌识别,于是就有了这篇文章。今天就给大家分享基于HyperLPR3实现车牌检测和识别。 原创作者:RS迷途小书童 博客地址:https://blog.csdn.ne…

商务谈判模拟口才训练方案(3篇)

商务谈判模拟口才训练方案(3篇) 商务谈判模拟口才训练方案(一) 一、训练目标 本训练方案旨在提高参与者在商务谈判中的口才表达能力,包括清晰表达、有效倾听、应对挑战和构建信任等能力。 二、训练内容 基础口才训练…

android天气实战

页面绘制 问题1、下拉框需要背景为透明 我懒得写全部省份就写了5个所以不需要往下 图标准备 iconfont-阿里巴巴矢量图标库几坤年没来这了好怀念啊,图标库选择下雨的图标等 准备网络请求 0、API接口准备 api免费七日天气接口API 未来一周天气预报api (tianqiap…

智慧能源数据监控平台

随着科技的飞速发展,能源管理已逐渐从传统的粗放型向精细化、智能化转变。在这个转型过程中,HiWoo Cloud平台的智慧能源数据监控平台以其独特的技术优势和创新理念,正引领着能源管理的新潮流。 一、智慧能源数据监控平台的概念 智慧能源数据…

Vue 工程化开发入门

Vue开发的两种方式: 核心包传统开发模式:基于html/css/js文件,直接引入核心包,开发Vue工程化开发模式:基于构建工具的环境中开发Vue 这里选择Vue cli脚手架 进行开发,搜索教程自行下载。 组件化开发 一个页…

【R语言】描述性数据分析与数据可视化

我们处理的变量可以分为两类,一类是连续型变量,另一类叫做分类型变量,其中对于连续型变量,如果服从正态分布就用平均值填充NA,不服从正态分布就用中位数填充NA,对于分类型变量,不管是有序的&…

蓝桥杯单片机省赛——第八届“基于单片机的电子钟程序设计与调试”程序部分

往期回顾 第三届蓝桥杯单片机省赛 第四届蓝桥杯单片机省赛 第五届蓝桥杯单片机省赛 第六届蓝桥杯单片机省赛 第七届蓝桥杯单片机省赛 文章目录 往期回顾一、前期准备二、代码详情1.基础代码蜂鸣器/继电器/led/定时器之类的代码 2.按键详解按键写法讲解 3.驱动的处理驱动写法讲…

Linux学习笔记:进程间的通信.共享内存shm

共享内存shm 什么是共享内存shm共享内存的特点关键函数ftokshmgetshmatshmdtshmctl 代码示例 什么是共享内存shm 进程间通信的前提:必须让不同的进程看到同一份资源,并且这个资源是OS提供的 而共享内存(Share memory)就是在内核共享内存区找一块物理内存空间,并允许多个进程共…

远距离、高品质、低延迟、高保真——SA316无线音频模块带您探索新的音频体验

SA316系列产品分为发射端模块SA316S-TX,SA316F30和接收端模块SA316-RX,该系列方案采用了无线高品质的语音传输芯片来设计,它可以支持外部 PCM / IIS 双模数字音频接口,同时模块为客户提供了标准化的串行接口,使用者可通过串口指令…

使用QT完成如图的游戏登录界面 使用信号和槽完成密文明文密码转换,重置账号和密码,登录校验 详细代码在主页下载

头文件: #ifndef LOGINWIDGET_H #define LOGINWIDGET_H #include <QLineEdit> #include <QPushButton> #include <QWidget> class LoginWidget : public QWidget {Q_OBJECT public: LoginWidget(QWidget *parent = 0); ~LoginWidget(); public slots: …

全新神经网络架构KAN一夜爆火!200参数顶30万,MIT华人一作 | 最新快讯

白交衡宇发自凹非寺 量子位公众号 QbitAI 一种全新的神经网络架构 KAN&#xff0c;诞生了&#xff01; 与传统的 MLP 架构截然不同&#xff0c;且能用更少的参数在数学、物理问题上取得更高精度。 比如&#xff0c;200 个参数的 KANs&#xff0c;就能复现 DeepMind 用 30 万参数…

SpringCloud整合Gateway结合Nacos

目录 一、引入依赖 二、开启两个测试项目 2.1 order service ​编辑 2.2 user service 三、gateway项目 3.1 新建一个bootstrap.yml文件 3.2 将我们的的网关配置写道nacos里的配置里 3.3 测试&#xff1a;看能够根据网关路由到两个测试的项目 四、 优化 4.1 将项目打包…

低空经济+飞行汽车:eVTOL技术详解

低空经济是以各种有人驾驶和无人驾驶航空器的各类低空飞行活动为牵引&#xff0c;辐射带动相关领域融合发展的综合性经济形态。它广泛体现于第一、第二、第三产业之中&#xff0c;在促进经济发展、加强社会保障、服务国防事业等方面发挥着日益重要的作用。 飞行汽车&#xff0c…

## CSDN创作活动:缓解工作压力:程序员的健康之道

缓解工作压力&#xff1a;程序员的健康之道 在当今快节奏的社会中&#xff0c;程序员作为一个高度专业化和技术密集的群体&#xff0c;往往需要面对持续的工作压力和创新挑战。在如此高强度的工作环境下&#xff0c;如何有效缓解工作压力&#xff0c;保持工作效率和个人健康成…

7个AI工具助力产品管理提升

大家好&#xff0c;人工智能AI技术不断进步&#xff0c;AI在产品管理领域的应用也日益广泛。AI以辅助者的角色助力提升产品优化流程的效率&#xff0c;同时激发创新&#xff0c;是不可或缺的强大伙伴。本文将介绍七个AI工具&#xff0c;旨在自动化产品管理者的日常工作流程&…