高精度保形滤波器Savitzky-Golay的数学原理、Python实现与工程应用

news2024/12/31 15:53:42

面向信号处理的特征保持平滑技术

在数据分析领域,信号处理中的噪声问题始终是一个重要议题。无论是实验数据、金融时间序列还是其他形式的信号处理,噪声都会干扰目标模式和趋势的识别。尽管存在多种降噪方法,但在处理短时信号时,算法的性能往往比执行效率更为重要。在众多方法中Savitzky-Golay滤波器因其独特的特征保持能力而脱颖而出。

Savitzky-Golay滤波器由Abraham Savitzky和Marcel J. E. Golay于1964年提出,是一种应用广泛的数字滤波器,可用于数据平滑和微分运算。与传统的中值滤波或均值滤波等容易造成信号特征损失的方法相比,Savitzky-Golay滤波器能够在实现信号平滑的同时保持原始信号的关键特征。这一特性使其在信号形状和特征保持要求较高的应用场景中具有显著优势。

本文将系统地介绍Savitzky-Golay滤波器的原理、实现和应用。我们将从基本原理出发,通过数学推导和直观解释,深入理解该滤波器的工作机制。同时将结合Python实现,展示其在实际应用中的效果。

Savitzky-Golay滤波器原理

Savitzky-Golay滤波器是一种基于局部多项式回归的数字滤波器,其核心是通过线性最小二乘法将低阶多项式拟合到相邻数据点的滑动窗口中。该方法的主要优势在于能够在降低噪声的同时保持信号的高阶矩,这意味着信号的峰值、谷值等特征可以得到较好的保持。

滤波器的工作过程可以概括为:在信号序列上滑动固定大小的窗口,对窗口内的数据点进行多项式拟合。窗口大小和多项式阶数是该算法的两个关键参数。算法在每个窗口位置计算多项式在中心点处的值,将其作为该点的滤波输出。通过对每个数据点重复此过程,最终得到完整的滤波信号。

数学原理

多项式拟合

Savitzky-Golay滤波器的核心是局部多项式拟合。设数据序列为(xi, yi),其中i∈[1, N],目标是用p阶多项式对局部数据进行拟合。

多项式表达式为:

对于中心位于x_k的窗口,需要确定系数向量[a0, a1, …, ap],使得多项式能最佳拟合窗口内的数据点。这个优化问题可以通过最小化均方误差来解决:

其中,2m+1表示窗口大小,窗口中心为点x_k

拟合实例

为了说明算法的具体实现过程,我们考虑一个简单的例子:窗口大小为5(即m=2)的2阶多项式拟合。

假设窗口内的数据点为:

采用2阶多项式进行拟合:

最小化误差函数:

求解得到系数后,滤波后的值yhat_k由多项式在中心点x_k处的值给出:

这个过程体现了Savitzky-Golay滤波器的本质:通过局部多项式拟合来实现数据平滑,同时保持信号的高阶特征。

Python实现与应用示例

以下通过一个完整的示例演示Savitzky-Golay滤波器的应用过程。首先生成含噪声的测试信号:

 importnumpyasnp  
 importmatplotlib.pyplotasplt  
 fromscipy.signalimportsavgol_filter  
       
 np.random.seed(0)  
 x=np.linspace(0, 2*np.pi, 100)  
 y=np.sin(x) +np.random.normal(0, 0.1, x.size)  
       
 plt.plot(x, y, label='Noisy Signal')  # 原始含噪信号
 plt.grid(lw=2,ls=':')  
 plt.xlabel('Time Step')  # 时间步长
 plt.ylabel("Value")      # 信号值
 plt.legend()  
 plt.show()

上图展示了添加高斯噪声后的正弦信号。

使用scipy.signal模块中的savgol_filter函数实现滤波。选择窗口大小为11,多项式阶数为3:

 window_size=11  
 poly_order=3  
 y_smooth=savgol_filter(y, window_size, poly_order)  
       
 plt.plot(x, y, label='Noisy Signal')        # 原始含噪信号
 plt.plot(x, y_smooth, label='Smoothed Signal', color='red')  # 滤波后信号
 plt.grid(lw=2,ls=':')  
 plt.xlabel('Time Step')   # 时间步长
 plt.ylabel("Value")       # 信号值
 plt.legend()  
 plt.show()

滤波结果显示,算法成功地去除了噪声同时保持了信号的基本形状。

上述动画展示了滤波过程中窗口滑动和局部拟合的过程。

参数影响分析

以下代码比较了不同窗口大小和多项式阶数对滤波效果的影响:

 fig, axs=plt.subplots(2, 2, figsize=(20, 12))  
       
 # 配置1:小窗口,低阶多项式
 y_smooth_1=savgol_filter(y_complex, 5, 2)  
 axs[0, 0].plot(x, y_complex, label='Noisy Signal')  
 axs[0, 0].plot(x, y_smooth_1, label='Smoothed Signal (5, 2)', color='red')  
 axs[0, 0].legend()  
 axs[0, 0].set_title('Window Size: 5, Poly Degree: 2')  
 plt.xlabel('Time Step')   # 时间步长
 plt.ylabel("Value")       # 信号值
 plt.legend()  
 
 # 配置2:小窗口,高阶多项式
 y_smooth_2=savgol_filter(y_complex, 5, 4)  
 axs[0, 1].plot(x, y_complex, label='Noisy Signal')  
 axs[0, 1].plot(x, y_smooth_2, label='Smoothed Signal (5, 4)', color='red')  
 axs[0, 1].legend()  
 axs[0, 1].set_title('Window Size: 5, Poly Degree: 4')  
       
 # 配置3:大窗口,低阶多项式
 y_smooth_3=savgol_filter(y_complex, 21, 2)  
 axs[1, 0].plot(x, y_complex, label='Noisy Signal')  
 axs[1, 0].plot(x, y_smooth_3, label='Smoothed Signal (21, 2)', color='red')  
 axs[1, 0].legend()  
 axs[1, 0].set_title('Window Size: 21, Poly Degree: 2')  
       
 # 配置4:大窗口,高阶多项式
 y_smooth_4=savgol_filter(y_complex, 21, 4)  
 axs[1, 1].plot(x, y_complex, label='Noisy Signal')  
 axs[1, 1].plot(x, y_smooth_4, label='Smoothed Signal (21, 4)', color='red')  
 axs[1, 1].legend()  
 axs[1, 1].set_title('Window Size: 21, Poly Degree: 4')  
       
 plt.tight_layout()  
 plt.show()

参数效果分析

  • 小窗口低阶配置:能够保持局部特征,但对高频噪声的抑制效果有限
  • 小窗口高阶配置:可以捕获复杂的局部变化,但存在过拟合风险
  • 大窗口低阶配置:具有良好的噪声抑制效果,但可能会过度平滑信号特征
  • 大窗口高阶配置:在保持信号特征的同时提供平滑效果,但需要注意窗口大小与信号特征尺度的匹配# 实践指南

参数选择策略

Savitzky-Golay滤波器的性能很大程度上取决于窗口大小和多项式阶数的选择。这两个参数需要根据具体应用场景进行优化。

窗口大小选择

窗口大小(2m+1)的选择需要考虑以下因素:

  • 小窗口:适用于快速变化信号的处理- 优势:能够保持信号的局部特征和快速变化- 局限:噪声抑制效果可能不够理想
  • 大窗口:适用于缓慢变化信号的处理- 优势:具有更好的噪声抑制效果- 局限:可能会模糊信号的局部特征

多项式阶数选择

多项式阶数§的选择需要权衡以下因素:

  • 低阶多项式(p=2或3)- 适用于平滑变化的信号- 具有较好的抗噪声能力- 计算效率较高
  • 高阶多项式(p=4或5)- 适用于具有复杂局部结构的信号- 能够更好地保持信号特征- 需要注意过拟合风险

算法局限性

边界效应

  • 在信号边界处的滤波效果较差
  • 原因:可用于拟合的数据点不足
  • 解决方案:考虑使用边界延拓或其他边界处理技术

数据间隔要求

  • 要求输入数据点间隔均匀
  • 非均匀采样数据需要预处理
  • 可考虑插值重采样

计算复杂度

  • 对于大规模数据集,计算开销较大
  • 需要考虑优化策略和并行处理

实施建议

参数初始化

  • 建议起始参数:窗口大小=11,多项式阶数=3
  • 根据具体应用效果进行调整

性能评估

  • 建立客观的评估指标
  • 使用交叉验证等方法评估参数选择
  • 结合视觉检查和定量分析

优化策略

  • 对关键参数进行网格搜- 使用网格搜索优化关键参数
  • 可以考虑引入自适应参数选择机制
  • 根据信号特征动态调整参数

边界处理

  • 实现适当的边界处理策略
  • 可选方案包括:- 数据延拓- 特殊边界滤波器设计- 混合滤波策略

高级应用技巧

信号特征分析

在应用Savitzky-Golay滤波器之前,建议对信号进行特征分析:

频谱特性

  • 分析信号的频率组成
  • 确定主要特征频率
  • 评估噪声分布特性

变化率特征

  • 评估信号的变化速率
  • 识别关键特征点
  • 确定合适的窗口大小范围

噪声特性

  • 分析噪声的统计特性
  • 评估信噪比
  • 确定滤波强度要求

特殊应用场景

实时处理

  • 降低算法复杂度
  • 优化计算效率
  • 实现因果滤波

多维数据处理

  • 扩展到多维滤波
  • 考虑维度间的关联性
  • 优化计算资源利用

总结

Savitzky-Golay滤波器是一种强大的数据平滑工具,其在保持信号特征方面的优势使其成为许多应用场景的首选方法。通过合理的参数选择和优化策略,可以充分发挥该算法的潜力。在实际应用中

在实际应用中需要注意以下的要点:

  1. 参数选择需要考虑信号特征
  2. 关注算法的局限性
  3. 采用适当的优化策略
  4. 重视边界处理问题
  5. 根据具体应用进行定制化设计

https://avoid.overfit.cn/post/231d896392dc4088ad83c2c6776ed741

作者:Thomas Konstantinovsky

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2267516.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

九点标定+旋转标定

眼在手外方式 1.夹取make点位置要求 机械手夹具夹持一个款标定板或者物料露出make点让视觉定位抓取 高度:与产品识别高度一致 左右位置:在相机视野内可以拍到make点 2.机械手走9个点移动位置要求(九点标定) 保证make在视野内…

RealityCapture导入视频序列失败

问题原因:如果导入的视频文件存在多余的元数据,那么在这里会发生导入失败。 以本人华为手机拍摄的一段.mp4视频为例: 利用ffmpeg在窗口命令行中检查你的视频—— ffmpeg -i your_video_name.mp4your_video_name是你的视频文件名 如下图所示&…

计算机网络|数据流向剖析与分层模型详解

文章目录 一、网络中的数据流向二、计算机网络通信模型1.OSI 模型2.TCP/IP 模型3.TCP/IP五层模型3.1 分层架构描述3.2各层地址结构3.3UDP数据包报头结构 三、总结 一、网络中的数据流向 在计算机网络中,数据的流向是指数据从发送端到接收端的传输路径。数据流向涉及…

正则表达式(三剑客之awk)

1.awk工具的使用 1.1 截取文档中的某个段 1)打印以 : 为分隔的第一个字段 [rootlocalhost ~]# head -n3 /etc/passwd | awk -F : {print $1} 2)注意事项 -F:作用是指定分隔符。如果不加分隔符,则以空格或者tab为分隔符 print&…

【基于rust-wasm的前端页面转pdf组件和示例】

基于rust-wasm前端页面转pdf组件和示例 朔源多余的废话花哨的吹牛那点东西要不要拿来试试事到如今 做个美梦 我觉得本文的意义在于,wasm扩展了浏览器的边界,但是又担心如同java的web applet水土不服. 如同我至今看不出塞班和iOS的不同下载地址:在github的备份 朔源…

图扑可视化赋能挖掘机高效操控

数字孪生挖掘机通过图扑可视化实时数据呈现和精准环境模拟,提升操作精度与施工效率,助力施工项目可视化管理,优化资源配置,为工程机械行业带来了新的智能化革新。

【多维DP】力扣3366. 最小数组和

给你一个整数数组 nums 和三个整数 k、op1 和 op2。 你可以对 nums 执行以下操作: 操作 1:选择一个下标 i,将 nums[i] 除以 2,并 向上取整 到最接近的整数。你最多可以执行此操作 op1 次,并且每个下标最多只能执行一…

支付域——“奖、惩、贴“特殊清算

摘要 在现代的服务平台经济中,比如网约车、外卖服务等,奖惩机制是用来管理服务提供者行为和确保服务品质的一种重要工具。所谓的“奖惩贴”就是这种机制中的一种具体形式,它包括了给予服务提供者的奖金、罚款和补贴。这些措施能够激励平台商…

网易企业邮箱登陆:保障数据安全

网易企业邮箱是一款为企业提供安全可靠的电子邮件服务的工具。通过网易企业邮箱,企业可以实现员工之间的高效沟通和信息共享,同时保障数据的安全性。 企业邮箱的安全性是企业信息保护的重要组成部分。网易企业邮箱采用了多层加密技术,确保邮件…

java常用类(下)

笔上得来终觉浅,绝知此事要躬行 🔥 个人主页:星云爱编程 🔥 所属专栏:javase 🌷追光的人,终会万丈光芒 🎉欢迎大家点赞👍评论📝收藏⭐文章 目录 一、Math 类 1.1基本介…

计算机的错误计算(一百九十四)

摘要 用两个大模型计算 其中,一个大模型通过化简,得出正确结果 0;而另外一个在化简过程中出现错误,得出了错误结果。 例1. 计算 下面是一个大模型的推导化简过程。 以上为一个大模型的回答。 下面是另外一个大模型的回复。 点评…

电脑缺失sxs.dll文件要怎么解决?

一、文件丢失问题:以sxs.dll文件缺失为例 当你在运行某个程序时,如果系统提示“找不到sxs.dll文件”,这意味着你的系统中缺少了一个名为sxs.dll的动态链接库文件。sxs.dll文件通常与Microsoft的.NET Framework相关,是许多应用程序…

初始c语言第一个c语言项目

第一个c语言项目 //c语言中一定要有main函数 //主函数//printf是一个库函数 //专门用来打印数据//std 标准 //i-input //o-output // #define _CRT_SECURE_NO_WARNINGS 1 #include<stdio.h>//c语言规定main函数是程序的入口 //标准的主函数的写法 int main() {printf(&qu…

进军AI大模型-环境配置

语言环境配置 合法上网工具&#xff1a; 这个T子试试&#xff0c;一直稳定。走我链接免费用5天: https://wibnm.com/s/ywtc01/pvijpzy python版本&#xff1a; python3.12 Langchain: Introduction | &#x1f99c;️&#x1f517; LangChain v0.3 9月16日升级的版本 pip3…

影刀进阶指令 | Kimi (对标ChatGPT)

文章目录 影刀进阶指令 | Kimi &#xff08;对标ChatGPT&#xff09;一. 需求二. 流程三. 实现3.1 流程概览3.2 流程步骤讲解1\. 确定问题2\. 填写问题并发送3\. 检测答案是否出完 四. 运维 影刀进阶指令 | Kimi &#xff08;对标ChatGPT&#xff09; 简单讲讲RPA调用kimi实现…

python学opencv|读取图像(二十二)使用cv2.polylines()绘制多边形

【1】引言 前序学习进程中&#xff0c;已经掌握了使用pythonopencv绘制线段、矩形和圆形的基本操作&#xff0c;相关链接包括且不限于&#xff1a; python学opencv|读取图像&#xff08;十八&#xff09;使用cv2.line创造线段-CSDN博客 python学opencv|读取图像&#xff08;…

OCR实践-Table-Transformer

前言 书接上文 OCR实践—PaddleOCR Table-Transformer 与 PubTables-1M table-transformer&#xff0c;来自微软&#xff0c;基于Detr&#xff0c;在PubTables1M 数据集上进行训练&#xff0c;模型是在提出数据集同时的工作&#xff0c; paper PubTables-1M: Towards comp…

计算机毕业设计hadoop+spark+hive民宿推荐系统 酒店推荐系统 民宿价格预测 酒店价格 预测 机器学习 深度学习 Python爬虫 HDFS集群

温馨提示&#xff1a;文末有 CSDN 平台官方提供的学长联系方式的名片&#xff01; 温馨提示&#xff1a;文末有 CSDN 平台官方提供的学长联系方式的名片&#xff01; 温馨提示&#xff1a;文末有 CSDN 平台官方提供的学长联系方式的名片&#xff01; 作者简介&#xff1a;Java领…

Java - 日志体系_Apache Commons Logging(JCL)日志接口库_桥接Logback 及 源码分析

文章目录 PreApache CommonsApache Commons ProperLogging &#xff08;Apache Commons Logging &#xff09; JCL 集成logbackPOM依赖配置文件 logback.xml使用 源码分析jcl-over-slf4j 的工作原理1. LogFactory 的实现2. SLF4JLogFactory 和 Log 的实例化过程3. SLF4JLog 和 …

多模态论文笔记——LLaVA

大家好&#xff0c;这里是好评笔记&#xff0c;公主号&#xff1a;Goodnote&#xff0c;专栏文章私信限时Free。本文详细介绍多模态模型&#xff1a;LLaVA。处理包含图像和文本的多模态数据&#xff0c;并生成合理准确的回答。 文章目录 论文模型架构视觉编码器语言模型多模态融…