hnn是什么意思在线翻译读音例句

你好的英文译语怎么说-luck

2023年4月18日发(作者：高中英语重要词组)浅谈聊天机器⼈
聊天机器⼈是什么
聊天机器⼈是⽬前⾮常热的⼀个基于⾃然语⾔交互的产品，基于⾃然语⾔的交互⽐基于图形的交互更⾼效时，以打车为例，⽤户说「叫车从
公司回家，⽐打开APP输⼊起点终点再点击下单要更⾼效。在现有的⼈与⼈之间对话的场景下，也能帮助提⾼效率、降低成本，⽐如客服与
⽤户之间的对话。
聊天机器⼈的类型
从聊天机器⼈的作⽤上分类，可以分为问答型机器⼈（限定领域），任务导向型机器⼈，闲聊型机器⼈（开放领域）
从聊天机器⼈技术⽽⾔，常见的⼏种主流技术包括：基于⼈⼯模板的聊天机器⼈、基于检索的聊天机器⼈、基于机器翻译技术的聊天机器
⼈、基于深度学习的聊天机器⼈。
检索式聊天机器⼈VS 基于统计的机器翻译机器⼈VS神经⽹络⽣成式聊天机器⼈
检索式聊天机器⼈指的事先存在⼀个对话库，对问答对建⽴索引，进⾏存储，存储⽅式通常式是倒排的，聊天系统接收到⽤户输⼊句⼦后，
通过在对话库中以搜索匹配的⽅式进⾏应答内容提取。
很明显这种⽅式对对话库要求很⾼，需要对话库⾜够⼤，能够尽量多地匹配⽤户问句，否则会经常出现找不到合适回答内容的情形，因为在
真实场景下⽤户说什么都是可能的，但是它的好处是回答质量⾼，因为对话库中的内容都是真实的对话数据，表达⽐较⾃然。
基于统计的机器翻译机器⼈，将源语⾔\"翻译\"成答复语句，通过对⼤量的平⾏语料进⾏统计分析，构建统计翻译模型（词汇、⽐对或是语⾔
模式），进⽽使⽤此模型进⾏翻译，⼀般会选取统计中出现概率最⾼的词条作为翻译。
⽣成式聊天机器⼈则采取不同的技术思路，在接收到⽤户输⼊句⼦后，通过两个阶段Encoder-Decoder（或者称作是Sequence to
Sequence）⾃动⽣成⼀句话作为应答，相对基于检索类或者机器翻译类传统技术⽽⾔，基于Encoder-Decoder深度学习框架的聊天机器
⼈具有如下明显优点：
1. 构建过程是端到端（End-to-End）数据驱动的，只要给定训练数据即可训练出效果还不错的聊天系统，省去了很多特征抽取以及各种
复杂中间步骤的处理，⽐如省去句法分析与语义分析等传统NLP绕不开的⼯作，使得系统开发效率⼤幅提⾼。
2. 语⾔⽆关，可扩展性强。对于开发不同语⾔的聊天机器⼈来说，如果采⽤Encoder-Decoder技术框架，只需要使⽤不同语⾔的聊天数
据进⾏训练即可，不需要专门针对某种语⾔做语⾔相关的特定优化措施，这使得系统可扩展性⼤⼤加强
但是缺点是⽣成应答句⼦质量很可能会存在问题，⽐如可能存在语句不通顺存在句法错误等看上去⽐较低级的错误。
⾼质量聊天机器⼈应该具备的特点
⾸先，针对⽤户的回答或者聊天内容，机器⼈产⽣的应答句应该和⽤户的问句语义⼀致并逻辑正确，如果聊天机器⼈答⾮所问或者不知所
云，亦或⽼是回答说“对不起，我不理解您的意思”，对于聊天机器⼈来说⽆疑是毁灭性的⽤户体验。
其次，聊天机器⼈的回答应该是语法正确的。这个看似是基本要求，但是停组词对于采⽤⽣成式对话技术的机器⼈来说其实要保证这⼀点是有⼀定
困难的，因为机器⼈的回答是⼀个字⼀个字⽣成的，如何保证这种⽣成的若⼲个字是句法正确的其实并不容易做得那么完美。
再次，聊天机器⼈的应答应该是有趣的、多样性的⽽⾮沉闷⽆聊的。尽管有些应答看上去语义上没有什么问题，但是⽬前技术训练出的聊天
机器⼈很容易产⽣“安全回答”的问题，就是说，不论⽤户输⼊什么句⼦，聊天机器⼈总是回答“好啊”、“是吗”等诸如此类看上去语义
说得过去，但是这给⼈很⽆聊的感觉。
还有，聊天机器⼈应该给⼈“个性表达⼀致”的感觉。因为⼈们和聊天机器⼈交流，从内⼼习惯还是将沟通对象想象成⼀个⼈，⽽⼀个⼈应
该有相对⼀致的个性特征，如果⽤户连续问两次“你多⼤了”，⽽聊天机器⼈分别给出不同的岁数，那么会给⼈交流对象精神分裂的印象，
这即是典型的个性表达不⼀致。⽽好的聊天机器⼈应该对外体现出各种基本背元宵节图片大全简单又漂亮景信息以及爱好、语⾔风格等⽅⾯⼀致的回答。
深度学习构建聊天机器⼈
如上所述，⽬前对于开放领域⽣成式聊天机器⼈技术⽽⾔，多数技术采⽤了Encoder-Decoder框架，所以先描述Encoder-Decoder框架技
术原理。然后分别针对聊天机器⼈研究领域需要特殊考虑的主要问题及其对应的解决⽅案进⾏讲解，这些主要问题分别是：多轮会话中的上
下⽂机制问题、“安全回答”问题以及个性信息⼀致性问题。

Encoder-Decoder框架可以看作是⼀种⽂本处理领域的研究模式，应⽤场景异常⼴泛，不仅仅可以⽤在对话机器⼈领域，还可以应⽤在机
器翻译、⽂本摘要、句法分析等各种场合。下图是⽂本处理领域⾥常⽤的Encoder-Decoder框架最抽象的⼀种表⽰：
Encoder-Decoder框架可以如此直观地去理解：可以把它看作适合处理由⼀个句⼦（或篇章）⽣成另外⼀个句⼦（或篇章）的通⽤处理模
型。对于句⼦对，我们的⽬标是给定输⼊句⼦X，期待通过Encoder-Decoder框架来⽣成⽬标句⼦Y。X和Y可以是同⼀种语⾔，也可以是
两种不同的语⾔。⽽X和Y分别由各⾃的单词序列构成：
Encoder顾名思义就映日荷花别样红的诗句是对输⼊句⼦X进⾏编码，将输⼊句⼦通过⾮线性变换转化为中间语义表⽰C：
对于解码器Decoder来说，其任务是根据句⼦X的中间语义表⽰C和之前已经⽣成的历史信息来⽣成i时刻要⽣成的单词yi:
每个yi都依次这么产⽣，那么看起来就是整个系统根据输⼊句⼦X⽣成了⽬标句⼦Y。
对于聊天机器⼈来说，完全可以使⽤上述的Encoder-Decoder框架来解决技术问题。具体⽽⾔，对应的中，X指的是⽤户输⼊语句，⼀般
称作源语⾔，⽽Y⼀般指的是聊天机器⼈的应答语句，⼀般称作⽬标语⾔。其含义是当⽤户输⼊源语⾔后，经过Encoder-Decoder框架计
算，⾸先由Encoder对源语⾔进⾏语义编码，形成中间语义表⽰C，Decoder根据中间语义表⽰C⽣成了聊天机器⼈的应答⽬标语⾔。这
样，⽤户反复输⼊不同的源语⾔，聊天机器⼈每次都形成新的应答⽬标语⾔，形成了⼀个实际的对话系统。
在实际实现聊天系统的时候，⼀般Encoder和Decoder都采⽤RNN模型，RNN模型对于⽂本这种线性序列来说是最常⽤的深度学习模
型，RNN⾯对长序列时可能会出现梯度消失或者梯度爆炸等情况，RNN的改进模型LSTM以及GRU模型也是经常使⽤的模型。
多轮会话中的上下⽂问题
Encoder-Decoder框架可以根据⽤户当前输⼊源语⾔，聊天机器⼈⾃动⽣成应答⽬标语⾔，形成了⼀个有效的对话系统。但是⼀般⼈们聊
天并不是单纯的⼀问⼀答，在回答的时候到底说什么内容常常要参考上下⽂Context信息，所谓对话上下⽂Context，也就是在⽤户当前输
⼊问句之前两者的对话信息，因为存在多轮的⼀问⼀答，这种情形⼀般称为多轮会话。在多轮会话中，⼀般将上下⽂称作Context。
深度学习来解决多轮会话的关键是如何将上下⽂聊天信息Context引⼊到Encoder-Decoder模型中去的问题。很明显，上下⽂聊天信息
Context应该引⼊到Encoder中，因为这是除了当前输⼊⽂本外的额外信息，有助于Decoder⽣成更好的会话应答内容。⽬前不同的研究主
体思路都是这样的，⽆⾮在如何将Context信息在Encoder端建⽴模型或者说具体的融⼊模型有些不同⽽已。
很容易想到⼀种直观地将Context信息融⼊Encoder的思路：⽆上下⽂信息的Encoder-Decoder模型的输⼊仅仅包含Message，只需要把
上下⽂信息Context和输⼊信息拼接起来形成⼀个长的输⼊提供给Encoder，这样就把上下⽂信息融⼊模型中了。
这个直觉本⾝其实是没有什么问题的，但是对于采⽤RNN模型的Encoder来说会存在如下问题：因为输⼊是历史上下⽂Context加上当前输
⼊⽂本构成的，有时候输⼊会⾮常长，⽽众所周知，对于RNN模型来说，如果输⼊的线型序列长度越长，模型效果越差。所以这样简单地拼
接Context和输⼊⽂本的策略明显不会产⽣太好的聊天效果。

考虑到RNN对长度敏感的问题，对聊天机器⼈场景优化的Encoder-Decoder模型，核⼼思想是将Encoder⽤多层前向神经⽹络来代替RNN
模型，神经⽹络的输出代表上下⽂信息Context和当前输⼊⽂本的中间语义表⽰，⽽Decoder依据这个中间表⽰来⽣成对话应答。
这样做既能够将上下⽂信息Context和当前输⼊语句通过多层前向神经⽹络编码成Encoder-Decoder模型的中间语义表达，⼜避免了RNN
对于过长输⼊敏感的问题。在前向神经⽹络的第⼀层分别对其进⾏编码，拼接结果作为深层⽹络后续隐层的输⼊
当然，除了Encoder从RNN替换为深层前向神经⽹络外，与传统Encoder-Decoder还有⼀个显著区别，就是Decoder的RNN模型每个时刻
t在输出当前字符的时候，不仅仅依赖t-1时刻的隐层状态和当前输⼊，还显⽰地将Encoder的中间语义编码直接作为t时刻RNN节点的输
⼊，⽽不是像偷香高手无删减全文阅读经典Encoder-Decoder模型那样把中间语义编码当做Decoder中RNN的最初输⼊。其出发点其实也是很直观的，就是在⽣成
每个输出字符的时候反复强化中间语义编码的作⽤，这对于输出应答较长的时候⽆疑是有帮助作⽤的。

解决多轮会话上下⽂问题的另外⼀种思路，被称作层级神经⽹络（Hierarchical Neural Network，简称HNN）。HNN本质上也是
Encoder-Decoder框架，主要区别在于Encoder采⽤了⼆级结构，上下⽂Conte列子中的二十个寓言故事 xt中每个句⼦⾸先⽤“句⼦RNN(Sentence RNN)”对每
个单词进⾏编码形成每个句⼦的中间表⽰，⽽第⼆级的RNN则将第⼀级句⼦RNN的中间表⽰结果按照上下⽂中句⼦出现先后顺序序列进⾏
编码，这级RNN模型可被称作“上下⽂RNN（Context RNN）”，其尾节点处隐层节点状态信息就是所有上下⽂Context以及当前输⼊的
语义编码，以这个信息作为Decoder产⽣每个单词的输⼊之⼀，这样就可以在⽣成应答Response的单词时把上下⽂信息考虑进来。
如何解决“安全回答”（Safe Response）问题
如果采⽤经典的Encoder-Decoder模型构建开放领域⽣成式聊天机器⼈系统，⼀个⽐较容易产⽣的严重问题就是“安全回答”问题。
什么是安全回答问题呢？就是说不天下归心上一句论⽤户说什么内容，聊天机器⼈都⽤少数⾮常常见的句⼦进⾏应答，⽐如英⽂的“I don’t know”、
“Come on”、“I’m OK”，中⽂的“是吗”、“呵呵”等。虽然说在很多种情况下这么回答也不能说是错误的，但是可以想象，如果
⽤户遇到这样⼀位聊天对象会有多抓狂。这个现象产⽣的主要原因是聊天训练数据中确实很多回答都是这种宽泛但是⽆意义的应答，所以通
过Encoder-Decoder模型机器⼈学会这种常见应答模式。如何解决聊天机器⼈“安全回答”问题，让机器产⽣多样化的应答是个很重要的
课题。
在Sequence-to-Sequence框架下来解决“安全回答”问题。在聊天场景下，传统的使⽤Sequence-to-Sequence框架来进⾏模型训练
时，其优化⽬标基本上是最⼤似然法（MLE），就是说给定⽤户输⼊Message，通过训练来最⼤化⽣成应答Response的概率：
其中M代表message，R代表Response；
改进的优化⽬标函数：最⼤化互信息（MMI），其⽬标函数如下：
可以从公式差异中看出，MMI的优化⽬标除了最⼤化从输⼊⽂本⽣成应答语句的概率，同时加⼊了反向优化⽬标，即最⼤化应答语句产⽣输
⼊⽂本的概率，其中lamda是控制两者哪个更重要的调节超参数。通过其名字“互信息”以及具体公式可以看出，这个优化⽬标函数要求应
答和输⼊⽂本内容密切相关⽽不仅仅是考虑哪个应答语句更⾼概率出现，所以降低了那些⾮常常见的回答的⽣成概率，使得应答更多样化且
跟输⼊⽂本语义更相关。
采⽤MMI作为⽬标函数明显解决了很多“安全回答”问题，表⼀是两个不同优化⽬标函数产⽣的应答的⽰例，其中输⼊⽂本列代表⽤户输⼊
语句，S2S 应答代表MLE优化⽬标产⽣的应答，MMI 应答代表MMI优化⽬标产⽣的应答。
个性信息⼀致性问题

对于聊天助⼿等应⽤来说，聊天机器⼈往往会被⽤户当做⼀个具有个性化特性的虚拟⼈，⽐如经常会问：“你多⼤了”、“你的爱好是什
么”、“你是哪⾥⼈啊”等。如果将聊天助⼿当做⼀个虚拟⼈，那么这位虚拟⼈相关的个性化信息⽐如年龄、性别、爱好、语⾔风格等个性
特征信息应该维护回答的⼀致性。利⽤经典的Sequence-to-Sequence模型训练出的聊天助⼿往往很难保持这种个性信息的⼀致性，这是
因为Sequence-to-Sequence模型训练的都是单句Message对单句Response的映射关系，内在并没有统⼀维护聊天助⼿个性信息的场
所，所以并不能保证每次相同的问题能够产⽣完全相同的应答。另外，对于海量⽤户来说，可能不同的⽤户会喜欢不同聊天风格或者不同⾝
份的聊天助⼿，所以聊天机器⼈应该能够提供不同⾝份和个性信息的聊天助⼿，不同类型⽤户可以采⽤相应类型的聊天助理来聊天，当然，
在聊天过程中要尽量保持⾝份和个性信息的⼀致性。
其基本思路如下：聊天机器⼈系统可以定义不同⾝份和个性及语⾔风格的聊天助理⾝份，个性化信息通过Word Embedding的表达⽅式来
体现，在维护聊天助⼿个性或⾝份⼀致性的时候，可以根据聊天对象的风格选择某种风格⾝份的聊天助⼿。整体技术框架仍然采⽤
Sequence-to-Sequence架构，其基本思路是把聊天助⼿的个性信息导⼊到Decoder的输出过程中，就是说在采⽤RNN的Decoder⽣成应
答Response的时候，每个t时刻，神经⽹络节点除了RNN标准的输⼊外，也将选定⾝份的个性化Word Embedding信息⼀并作为输⼊。这
样就可以引导系统在输出时倾向于输出符合⾝份特征的个性化信息。
上述是⼀种深度学习框架下维护聊天助⼿个性⼀致性的技术框架，很明显还可以衍⽣出很多种其它⽅案，但是其技术思路应该是类似的，核
⼼思想是把聊天助⼿的个性信息在Decoder阶段能够体现出来，以此达到维护个性⼀致性的⽬的。
上述内容介绍了使⽤深度学习构建聊天机器⼈采⽤的主体技术框架以及⾯临的⼀些独特问题及相应的解决⽅案，除此外，还有⼀些问题值得
探讨，⽐如如何使得聊天机器⼈有主动引导话题的能⼒，因为⼀般聊天机器⼈都⽐较被动，话题往往都是由⽤户发起和引导，聊天机器⼈只
是作为应答⽅，很少主动引导新话题，⽽这很容易导致聊天冷场，所以如何主动引导话题也是聊天机器⼈应该具备的能⼒之⼀，