NLP 的核心任务

NLP 的核心任务通常按语言处理层级划分，从底层词法到高层语义，共包括以下几个方面：

一、词法层任务

1. 分词（Word Segmentation）

将连续文本切分为有意义的最小语言单位。

• 中文："自然语言处理" → ["自然", "语言", "处理"]
• 英文通常以空格分隔，但仍需处理缩写、标点。

2. 词性标注（POS Tagging）

为每个词标注语法类别（名词、动词、形容词等）。

• 我(r) 爱(v) 北京(ns)

3. 命名实体识别（NER）

识别文本中具有特定意义的实体，如人名、地名、机构名、时间、金额等。

• "马云于1999年在杭州创立阿里巴巴" → 人名:马云 / 时间:1999年 / 地名:杭州 / 机构:阿里巴巴

二、句法层任务

4. 句法分析（Syntactic Parsing）

分析句子的语法结构，常见两种形式：

• 成分分析：短语结构树（S → NP + VP）
• 依存分析：词与词之间的修饰/支配关系

5. 词义消歧（WSD）

确定多义词在具体语境中的正确含义。

• "我要去银行(bank)存款"→ 金融机构，而非河岸。

三、语义层任务

6. 语义角色标注（SRL）

识别句子中"谁对谁做了什么"，标注施事、受事、时间、地点等语义角色。

7. 语义相似度计算

判断两段文本在语义上的接近程度，是搜索、推荐、去重的基础。

8. 情感分析（Sentiment Analysis）

判断文本表达的情感倾向（正面/负面/中性）或具体情绪类别，常用于舆情监控、商品评价。

四、篇章层任务

9. 文本分类（Text Classification）

将文本归入预定义类别，如新闻分类、垃圾邮件识别、意图识别。

10. 信息抽取（Information Extraction）

从非结构化文本中抽取结构化事实：

• 关系抽取：实体间关系（如"创始人—公司"）
• 事件抽取：事件类型及参与要素

11. 文本摘要（Summarization）

• 抽取式：从原文挑选关键句组合
• 生成式：用新语言重新组织表达核心内容

12. 机器翻译（Machine Translation）

将一种自然语言文本自动翻译为另一种语言，是 NLP 最具代表性的综合任务。

五、对话与生成层任务

13. 问答系统（QA）

针对用户问题，从知识库或文档中返回精准答案，包括：

• 检索式 QA、知识图谱 QA、阅读理解式 QA

14. 对话系统（Dialog System）

• 任务型：完成具体业务（订票、查天气）
• 开放域：闲聊式对话

15. 文本生成（NLG）

按需求自动生成连贯文本，如新闻撰写、代码生成、故事创作。

任务层级总览

词法层 → 分词、词性标注、NER ↓ 句法层 → 句法分析、词义消歧 ↓ 语义层 → 语义角色标注、相似度、情感分析 ↓ 篇章层 → 分类、信息抽取、摘要、翻译 ↓ 生成层 → 问答、对话、文本生成

一句话概括

NLP 的核心任务沿着“词 → 句 → 语义 → 篇章 → 生成”的层级递进，底层任务为上层任务提供基础，最终目标是让计算机完整地理解和生成人类语言。