一、核心定义

文本分类 是指根据预先定义的类别体系,为一段给定的文本自动分配一个或多个类别标签的任务。

• 输入：一段文本（如句子、段落、文档）。
• 输出：一个或多个类别标签（如“体育”、“科技”、“积极情绪”、“垃圾邮件”）。

典型应用场景

1. 情感分析：判断评论的情感倾向（正面/负面/中性）。
2. 主题分类：将新闻文章归类到“政治”、“经济”、“体育”等板块。
3. 垃圾邮件/信息过滤：识别垃圾邮件、有害评论。
4. 意图识别：在对话系统中，判断用户查询的意图（如“查询天气”、“订票”）。
5. 语言检测：判断文本所使用的语言。
6. 多标签分类：一篇关于“人工智能在医疗中的应用”的文章，可以同时被打上人工智能、医疗、科技等多个标签。

核心流程（技术栈）

一个完整的文本分类项目通常包含以下步骤：

flowchart TD
    A[原始文本数据] --> B[数据预处理]
    B --> C[特征工程]
    C --> D[模型训练]
    D --> E[模型评估与优化]
    E -- 结果满意 --> F[部署与应用]
    E -- 结果不满意 --> B

数据预处理

将原始文本转化为更干净、更规整的形式。

• 清洗：去除HTML标签、特殊字符、无关符号等。
• 标准化：将字母统一为小写（视任务而定）。
• 分词：将句子切分成独立的词语或子词单元（对于英文是分词，对于中文是中文分词）。
• 去除停用词：移除“的”、“了”、“in”、“the”等常见但信息量低的词（并非所有任务都需要）。
• 词形还原/词干提取：将单词还原为基本形式（如 “running” -> “run”）。

特征工程

将文本转换成机器学习/深度学习模型可以理解的数值向量。

• 传统方法（基于统计）：
  • 词袋模型：将文本表示为一个长向量，记录每个词在文本中出现的次数或频率,忽略了词序。
  • TF-Idf：在词袋模型基础上，降低常见词的权重，提高重要词（在本文中频率高，但在全集中出现少的词）的权重。
  • N-gram：考虑连续的N个词作为一个单元，可以部分保留局部词序信息（如 “很好” 和 “好很” 是不同的bigram）。

模型选择与训练

• 传统机器学习模型（通常与TF-IDF特征结合）：
  • 朴素贝叶斯：简单高效，基于贝叶斯定理，假设特征（词语）之间相互独立。
  • 支持向量机：寻找一个最优超平面来分隔不同类别的样本,在高维空间中表现良好。
  • 逻辑回归：线性模型，输出概率,易于理解和解释。
• 深度学习模型（自动学习特征表示）：
  • 卷积神经网络：使用卷积核捕捉文本中的局部关键特征（如关键短语）。
  • 循环神经网络 / LSTM / GRU：能更好地处理序列信息,捕捉上下文依赖关系。
  • Transformer/预训练模型（当前主流）：
    • BERT, RoBERTa, ERNIE等：在大规模语料上预训练，能生成包含丰富上下文信息的词向量，只需在预训练模型后添加一个简单的分类层，并用特定任务的数据进行微调，即可获得极佳的效果,这是目前绝大多数文本分类任务的SOTA方案。

评估与优化

• 常用评估指标：
  • 准确率：分类正确的样本数占总样本数的比例,适用于类别均衡的数据。
  • 精确率、召回率、F1值：更适用于类别不均衡的数据（如垃圾邮件检测）。
    • 精确率：预测为正的样本中，实际为正的比例。（“宁缺毋滥”）
    • 召回率：实际为正的样本中，被预测为正的比例。（“宁可错杀”）
    • F1值：精确率和召回率的调和平均数。
  • 混淆矩阵：直观展示模型在每个类别上的分类情况（正确/错误）。
• 优化方向：
  • 调整模型超参数。
  • 清洗和扩充训练数据。
  • 处理类别不平衡问题（如过采样、欠采样、调整类别权重）。
  • 尝试更复杂的特征或模型。

关键挑战

1. 数据不平衡：某些类别的样本数远少于其他类别。
2. 高维稀疏性：使用词袋模型时，特征空间维度极高（词汇表大小）,但单个文本向量非常稀疏。
3. 语义理解：同义词（“电脑”和“计算机”）、一词多义（“苹果”公司 vs 水果“苹果”）、上下文依赖（“这手机真牛” vs “他在吹牛”）等问题对模型是巨大挑战。
4. 领域迁移：在特定领域（如医疗）训练的模型，在其他领域（如法律）表现可能大幅下降。

当前趋势

• 预训练+微调范式：使用BERT等大型预训练语言模型作为基础,已成为工业界和学术界的标准做法。
• 少样本/零样本学习：研究如何用极少的标注数据甚至无标注数据完成分类任务。
• Prompt learning：通过设计合适的“提示”，将分类任务转化为预训练模型更擅长的掩码语言模型任务,以充分利用预训练知识。
• 大语言模型应用：直接使用ChatGPT、GPT-4等大语言模型通过指令或少量示例进行文本分类。

入门建议

1. 从流程入手：使用经典数据集（如IMDB影评情感分析），用TF-IDF + 朴素贝叶斯/逻辑回归实现一个基线系统。
2. 掌握工具：熟练使用Python的scikit-learn（传统ML）、TensorFlow或PyTorch（深度学习）、以及Hugging Face Transformers库（预训练模型）。
3. 深入理解评估：学会分析混淆矩阵,理解不同指标的含义。
4. 跟进主流技术：重点学习Transformer和BERT的基本原理及微调方法。

希望这份基础梳理能帮助您构建起文本分类的知识框架！

标签： 核心 定义