AI基础认知 词法分析是编译过程的第一阶段，也是所有后续处理的基础。它的核心任务可以概括为，将源代码的字符流转换为有意义的单词流 核心定义与比喻定义：词法分析是指根据词法规则（构词规则），从左到右逐个字符地扫描源程序，识别出一个个具有独立意义的最小语法单位（即“单词”或“记号”），并生成相应的属性字（Token）序列的过程，比喻... 星博讯 2026-04-09 20 #词法分析 #单词流
AI基础认知 一、核心概念，什么是分词？ 分词，就是将连续的文本序列（如句子），按照一定的规范和算法，切分成一个一个独立且有意义的词语或词元的过程，英文例句（已天然分词）： I love natural language processing... 星博讯 2026-04-09 20 #分词 #核心概念
AI基础认知 什么是命名实体识别？ 命名实体识别 是自然语言处理中的一个基础且重要的子任务，属于信息提取的范畴，它的核心目标是：从非结构化的文本中，识别出具有特定意义的实体，并将其归类到预定义的类别中，就是让计算机像人一样，能从一段话里... 星博讯 2026-04-09 21 #命名实体 #识别
AI基础认知 1.核心定义 关系抽取 是自然语言处理中信息抽取的一个核心子任务，它的目标是：从非结构化的纯文本中，自动识别并抽取出实体之间存在的特定语义关系，并将其转化为结构化的三元组形式，输入： 一段自然语言文本，例如： “苹... 星博讯 2026-04-09 21 #核心 #定义
AI基础认知 一、核心定义 文本分类 是指根据预先定义的类别体系,为一段给定的文本自动分配一个或多个类别标签的任务，输入：一段文本（如句子、段落、文档），输出：一个或多个类别标签（如“体育”、“科技”、“积极情绪”、“垃圾邮件”... 星博讯 2026-04-09 22 #核心 #定义
AI基础认知 以下是情感分析的基本概念体系 情感分析（Sentiment Analysis），又称意见挖掘（Opinion Mining），是自然语言处理（NLP）领域的核心任务之一，旨在自动识别、提取和分析文本中的主观情感信息，它通过计算技术... 星博讯 2026-04-09 19 #情感分析 #概念体系
AI基础认知 我们可以从宏观流程、核心模型架构、关键技术细节以及挑战与趋势这几个层面来理解 概率建模与序列预测文本生成的本质是 “给定一段上下文，预测下一个最可能出现的词/字，并不断重复这个过程”，将其建模为一个概率问题：对于一个序列（比如一句话）W = (w1, w2, w3, ...,... 星博讯 2026-04-09 17 #宏观流程 #核心模型架构
AI基础认知 一、什么是机器翻译？ 机器翻译 是指利用计算机自动将一种自然语言（源语言）的文本或语音转换为另一种自然语言（目标语言）的过程，其终极目标是实现与人类译者质量相媲美、甚至更高的全自动翻译，主要技术范式（发展历程）机器翻译的发... 星博讯 2026-04-09 16 #机器翻译 #定义
AI基础认知 核心定义生成是指通过自动或人工的方式，从一篇或多篇较长的源文本（如文章、报告、论文、新闻）中，提取其核心信息和主旨，生成一段更短、更精炼、保留原意的文字的过程。其核心目标是实现信息的压缩和价值提取 关键分类维度基于生成方式提取式摘要：从源文本中直接“提取”重要的句子、短语，并将其组合成摘要，就像用荧光笔划出重点句，优点：忠实于原文，不易出现事实错误，缺点：摘要可能不连贯，语言生硬，无法概括未直接... 星博讯 2026-04-09 15
AI基础认知 一、什么是问答系统？ 核心定义：问答系统是一种能够以自然语言准确、简洁地直接回答用户所提出问题的计算机系统，关键区别（与传统搜索引擎）：搜索引擎：给你一系列相关文档/网页链接,你需要自己从中寻找答案，问答系统：直接给你一个... 星博讯 2026-04-09 21 #问答系统 #定义
