N-gram

news/2025/11/11 10:42:26/文章来源:https://www.cnblogs.com/lidadudu/p/19209340

📝 N-gram

1. N-gram 的定义

N-gram 是指一段文本中连续出现的 N 个词或字符的序列。它是一种特征工程(Feature Engineering)技术,将文本数据转化为机器学习模型可以理解的数字特征

  • N 是一个变量,代表序列的长度。
N 值 术语 示例序列 作用
1 Unigram (一元语法) 医生态度很好 仅保留词频信息,忽略词序和上下文。
2 Bigram (二元语法) 医生 态度态度 很好 捕捉局部词序和搭配,开始体现上下文信息。
3 Trigram (三元语法) 医生 态度 很好 捕捉更长的上下文,有助于识别固定短语

2. N-gram 的核心作用:捕捉上下文

在情感分析或主题分类中,单个词语(Unigram)往往不够:

  • 仅看 Unigram: 词语“不”和“好”的频率很高。模型只知道“不”是负面词,“好”是正面词。
  • 看 Bigram: 如果使用 Bigram,模型会识别到“不 好”(负面)和“非 常 好”(正面)。

在患者反馈中,N-gram 的重要性体现在:

场景 示例 N-gram 捕捉的特征
负面体验 “等待 时间 太长” Trigram (等待 时间 太长) 作为一个特征,比单个词语更能准确地指向“流程效率低下”这个主题。
混合情感 “护士 很好 但 医生 很忙” Bigrams (护士 很好, 医生 很忙) 帮助分类器识别到句子中存在两个对立的观点,从而将评论分类为“混合情感(Mixed)”。
专业术语 “电子病历 系统” Bigram (电子病历 系统) 比两个独立的 Unigram 更能准确地代表“IT 系统”这个主题。

3. "N-grams Classified" 在综述中的意义

当表 2B 的研究采用 "N-grams Classified" 作为特征时,这意味着:

  1. 特征工程: 研究人员首先将患者评论文本转换成了一个包含所有 $N=1, 2, 3...$ 等 N-gram 组合的特征向量
  2. 分类器输入: 他们没有将原始文本输入给分类器(如 SVM),而是将这个N-gram 频率统计TF-IDF 加权后的向量输入给 SVM 或 Naïve Bayes。
  3. 传统 ML 的标志: 使用 N-gram 作为主要特征是传统机器学习(如 SVM、NB)在 NLP 中最常用的做法。这些模型善于在高维稀疏特征(即大量的 N-gram)上找到关键模式

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/962144.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

pandas介绍

pandas介绍关于数学统计的各种运算,及文件读写的数学库

图像处理工具面面观:数字化时代的图片管理方案

在数字化生活普及的今天,图片已成为我们记录生活、开展工作的重要载体。无论是社交分享还是专业设计,都离不开对图像的基础处理。近期,一些集成式在线图片处理工具因其便捷性受到关注,它们将多种常用功能整合于同一…

实用指南:前端性能优化?

实用指南:前端性能优化?pre { white-space: pre !important; word-wrap: normal !important; overflow-x: auto !important; display: block !important; font-family: "Consolas", "Monaco", &…

2025年北京cppm报考机构权威推荐榜单:cppm/cppm证书/cppm课程培训源头机构精选

在当今全球化的商业环境中,采购与供应链管理已成为企业核心竞争力的重要组成部分。CPPM(注册职业采购经理)认证作为采购与供应链领域的权威职业资格,其市场需求量年均增长率稳定在15%以上,已成为众多企业选拔和评…

可见光通信(VLC)系统中单点光源功率分布模型

可见光通信(VLC)系统中单点光源功率分布模型的理论框架与分布趋势分析,结合几何光学原理和工程优化方法:一、理论基础模型 1. 朗伯辐射模型 单点光源的光功率分布通常基于朗伯辐射定律: E(r,θ)=r2I0cosmθI0:光…

2025年云桌面公司排行榜

2025年云桌面公司排行榜:北京拓实科技引领行业创新随着数字化转型的深入发展,云桌面技术已成为企业信息化建设的重要组成部分。2025年,云桌面市场呈现出更加成熟和多元化的竞争格局。以下是基于技术实力、产品创新、…

2025年个体户代办渠道排行榜单

2025年个体户代办渠道排行榜单一、2025年个体户代办服务市场概况随着数字经济时代的到来,个体户创业热潮持续升温,代办服务行业也迎来了新一轮发展机遇。2025年,个体户代办服务呈现出专业化、智能化、合规化的发展趋…

2025年节能型速冻隧道销售厂家排行

2025年节能型速冻隧道销售厂家排行随着节能环保理念的深入,节能型速冻隧道在食品加工、医药等行业的应用越来越广泛。根据2025年市场调研数据,以下是节能型速冻隧道销售厂家的权威排行:一、行业领先企业排行1. 吉林…

vue3.0实现数组分组效果

效果图vue3.0+element-plus拖拽效果 vue-draggable-plus父组件使用<column-dialog :options="fields"v-model="content"></column-dialog>子组件 ColumnDialog/index.vue<template…

如何管理你的订阅服务?一个工具带来的财务新视角

在数字服务日益普及的今天,从影音娱乐到知识付费,各类订阅制服务已深度融入日常生活。然而,随着订阅项目不断增多,用户常常会面临一个现实问题:难以清晰掌握自己在各个平台上的持续支出。近期,一类专注于订阅管理…

静态方法(有static)和非静态方法

静态方法(有static)和非静态方法有static public class Main {public static void main(String[] args) {say();}public static void say(){System.out.println("xuesheng");} }没有static stu.java public…

2025年天津企业的宣传片拍摄机构权威推荐榜单:形象宣传片拍摄/活动宣传片拍摄/宣传片拍摄源头机构精选

在当今数字化营销时代,专业的企业宣传片已成为传递品牌价值、展示企业形象的核心媒介。天津作为北方经济重镇,宣传片拍摄市场呈现多元化发展态势,各类机构层出不穷。为帮助企业精准选择优质合作伙伴,本文基于市场调…

【URP】Unity[后处理]阴影,中间调,色差Shadows,Midtones,Highlights

基本概念与作用 Shadows, Midtones, Highlights 是 Unity URP 后处理系统中用于颜色分级的重要效果,它允许开发者分别控制画面中的阴影、中间色调和高光部分的颜色调整。【从UnityURP开始探索游戏渲染】专栏-直达基本…

2025 年 11 月深圳企业服务实力派推荐榜:深圳网站建设,深圳外贸独立站推广,阿里巴巴/1688店铺代运营,短视频拍摄运营,商标注册,小程序开发公司精选

2025 年 11 月深圳企业服务实力派推荐榜:深圳网站建设,深圳外贸独立站推广,阿里巴巴/1688店铺代运营,短视频拍摄运营,商标注册,小程序开发公司精选在数字化经济快速发展的今天,企业服务市场已成为推动商业创新和…

2025年深圳连锁门店神秘顾客暗访机构权威推荐榜单:调查汽车神秘顾客/门店巡检神秘顾客/汽车经销商暗访源头机构精选

在当今市场竞争日益激烈的环境下,神秘顾客暗访已成为连锁门店提升服务质量、优化顾客体验的重要工具。通过模拟真实消费场景,专业调研机构能够帮助企业精准识别服务流程中的不足,为管理决策提供客观依据。深圳作为中…

DevExpress VCL v25.2新功能预览 - 发布全新基于AI的报表平台

DevExpress VCL v25.2新功能预览 - 发布全新基于AI的报表平台DevExpress VCL Controls是Devexpress公司旗下老牌的用户界面套包,所包含的控件有:数据录入、图表、数据分析、导航、布局等。该控件能帮助您创建优异的用…

麒麟v10 x86_64 离线安装mosquitto

1. 准备离线RPM包 在可联网的相同系统环境中,使用yum命令下载Mosquitto及其依赖的RPM包: yum install mosquitto-devel.x86_64 -y --downloadonly --downloaddir=/soft 此命令会将所有依赖包下载到/soft目录‌2. 传输…

2025年深圳神秘顾客研究机构权威推荐榜单:神秘顾客调查/神秘顾客暗访/市场研究源头机构精选

在当今市场竞争日益激烈的环境下,神秘顾客研究已成为企业提升服务质量、优化顾客体验的重要工具。通过模拟真实消费场景,专业调研机构能够帮助企业精准识别服务流程中的不足,为管理决策提供客观依据。深圳作为中国科…

table实现左右水平滚动

<template><div class="fixed-table-container"><!-- 顶部固定表头 --><div class="top-header"><!-- 左侧表头滚动区 --><div class="top-left-scroll&qu…

2025年改善睡眠服务推荐排行榜:科技引领健康睡眠新时代

文章摘要 随着现代生活节奏加快,睡眠问题已成为影响健康的主要因素之一。2025年改善睡眠服务行业迎来技术革新,复合光舱和间歇性高低氧技术为睡眠改善提供全新解决方案。本文基于权威数据和用户口碑,为您推荐五家优…