KNN分类算法的MATLAB实现以及可视化

news2025/1/11 8:08:13

一、KNN简介

KNN算法，即K-Nearest Neighbors，是一种常用的监督学习算法，可以用于分类问题，并且在实际应用中取得了广泛的成功。

二、KNN算法的基本原理

对于给定的测试样本，KNN算法首先计算它与训练集中所有样本的距离。然后，根据这些距离，选择最近的K个邻居进行投票。对于分类任务，通常取前K个样本中类别最多的作为预测结果。

2.1、距离的定义

2.2、K的取值

K的取值比较重要，那么该如何确定K取多少值好呢？答案是通过交叉验证（将样本数据按照一定比例，拆分出训练用的数据和验证用的数据，比如8：2拆分出部分训练数据和验证数据），从选取一个较小的K值开始，不断增加K的值，然后计算验证集合的准确率，最终找到一个比较合适的K值。 和K-means不一样，当K值更大的时候，错误率会更高。这也很好理解，比如说你一共就35个样本，当你K增大到30的时候，KNN基本上就没意义了。且K值一般取奇数，这样可以保证能够取到标签的众数。在下图中K值很明显取K = 3。

三、KNN是一种非参的，惰性的算法模型

非参的意思并不是说这个算法不需要参数，而是意味着这个模型不会对数据做出任何的假设，与之相对的是线性回归（我们总会假设线性回归是一条直线）。也就是说KNN建立的模型结构是根据数据来决定的，这也比较符合现实的情况，毕竟在现实中的情况往往与理论上的假设是不相符的。惰性又是什么意思呢？想想看，同样是分类算法，逻辑回归需要先对数据进行大量训（tranning），最后才会得到一个算法模型。而KNN算法却不需要，它没有明确的训练数据的过程，或者说这个过程很快。

四、KNN算法的优缺点

不对数据分布做出假设，完全基于距离度量对样本特征进行提取；不需要提前进行训练，直接可以进行分类；思想简单，应用广泛。然而，它也有一些缺点，如过度依赖距离度量函数和K值的选择、计算量大、所需内存大、可解释性差、预测速度慢等。

五、自己编写KNN算法的MATLAB实现并可视化

clear;clc;clf;
% 假设我们有一些训练数据和测试数据
train_data = [1.0,1.2;
    1.2,1.2;
    1.35,1.8;
    1.3,1.6;
    1.33,1.5;
    1.7,2.0;
    2.2,2.0;
    2.1,2.5;
    2.3,4.3;
    2.5,4.1;
    2.7,3.0;
    3.2,4.4;
    3.5,4.1;
    4.1,5.0;
    3.9,4.2;
    3.7,4.4;
    3.5,4.0;
    4.2,1.2;
    4.3,1.3;
    5.0,2.6;
    5.6,3.6;
    5.4,4.0;]; % 训练数据的特征矩阵
train_labels = [0;0;0;0;0;0;0;0;0;0;0;1;1;1;1;1;1;2;2;2;2;2]; % 训练数据的标签向量
test_data = [ 5.8,3.6;
    3.0,3.0;
    1.1,2.3;
    1.0,1.0;
    1.2,4.0;
    5.2,2.0;
    3.7,4.0;]; % 测试数据的特征矩阵
K = [3,5,7,9,11];
accuracy_value = zeros(1,5);
rng(111) %固定随机数种子
for j = 1:5
    % 假设 X 是你的特征矩阵，大小为 [NxD]，其中 N 是样本数，D 是特征数
    % 假设 Y 是你的标签向量，大小为 [Nx1]
    % 设定k折交叉验证的k值
    k = K(j); 
    % 创建k折交叉验证的分区
    cvp = cvpartition(size(train_data, 1), 'KFold', k);
    % 初始化用于存储结果的变量
    accuracy = zeros(1, k); % 用于存储每次迭代的准确率
    % 循环进行k次训练和测试
    for i = 1:cvp.NumTestSets
        % 训练集和测试集的索引
        trainingIdx = training(cvp, i);
        testIdx = test(cvp, i);
        % 从原始数据中分离训练和测试数据
        XTrain = train_data(trainingIdx, :);
        YTrain = train_labels(trainingIdx);
        XTest = train_data(testIdx, :);
        YTest = train_labels(testIdx);
        % 假设你已经有了预测标签，存储在变量 predictedLabels 中
        predictedLabels =  knn_classifier(XTrain,YTrain,XTest,k);
        % 计算准确率
        correct = sum(predictedLabels == YTest);
        accuracy(i) = correct / length(YTest);
    end
    % 计算平均准确率
    meanAccuracy = mean(accuracy);
    accuracy_value(j) = meanAccuracy;
end
figure(1)
plot(K,accuracy_value,'LineWidth',1.5,'Marker','*')
xlabel('k')
ylabel('accuracy')
[L,I] = max(accuracy_value);
K = K(I);
% 调用KNN分类器函数
predicted_labels = knn_classifier(train_data, train_labels, test_data, K);
% 显示预测结果
disp(predicted_labels);
figure(2)
indices1 = find(train_labels==0);
indices2 = find(train_labels==1);
indices3 = find(train_labels==2);
h1 = scatter(train_data(indices1,1),train_data(indices1,2),25,"red","filled");
hold on
h2 = scatter(train_data(indices2,1),train_data(indices2,2),25,"blue","filled");
h3 = scatter(train_data(indices3,1),train_data(indices3,2),25,"green","filled");
indices11 = find(predicted_labels==0);
indices22 = find(predicted_labels==1);
indices33 = find(predicted_labels==2);
h11 = scatter(test_data(indices11,1),test_data(indices11,2),"red","o",'LineWidth',1.5);
h22 = scatter(test_data(indices22,1),test_data(indices22,2),"blue","o",'LineWidth',1.5);
h33 = scatter(test_data(indices33,1),test_data(indices33,2),"green","o",'LineWidth',1.5);
% % 创建网格以可视化决策边界   
xMin = min(train_data(:,1));  
xMax = max(test_data(:,1));  
yMin = min(test_data(:,2));  
yMax = max(train_data(:,2));
h = 0.02;  
[xx, yy] = meshgrid(xMin:h:xMax, yMin:h:yMax);  
% 预测网格点的标签  
labels = knn_classifier(train_data, train_labels,[xx(:), yy(:)],K);  
labels = reshape(labels, size(xx));
alpha = 0.2;
contourf(xx, yy, labels, 'LineWidth',1.5,'FaceAlpha',alpha); % 绘制决策边界  
title(['KNN Decision Boundary (K = ' num2str(K) ')']);  
xlabel('Feature 1');  
ylabel('Feature 2'); 
box on

function label = knn_classifier(train_data, train_labels, test_data, K)
% train_data: 训练数据的特征矩阵，大小为 [NxD]，其中N是样本数，D是特征维度
% train_labels: 训练数据的标签向量，大小为 [Nx1]
% test_data: 测试数据的特征矩阵，大小为 [MxD]
% K: 最近邻居的数量
% label: 测试数据的预测标签向量，大小为 [Mx1]
%——————————————————————————————————————————————————————————————
% 初始化预测标签向量
label = zeros(size(test_data, 1), 1);
% 遍历测试数据集中的每个样本
for i = 1:size(test_data, 1)
    % 计算测试样本到所有训练样本的距离
    % 距离函数d(x,y)需要满足三个条件：
    % ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
    % d(x,y)>=0,d(x,y)==0<=>x==y(正定性)
    % d(x,y)==d(y,x)(对称性)
    % d(x,y)<=d(x,z)+d(z,y)(三角不等式)
    %~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
    distances = sum((train_data - test_data(i, :)).^2, 2); %欧氏距离
%   distances = sum(abs(train_data - test_data(i, :)),2); %曼哈顿距离
    % 获取距离排序后的索引
    [~,sortedDistIndices] = sort(distances); %默认升序排列
    % 找出最近的K个邻居的索引
    neighbors_indices = sortedDistIndices(1:K);
    % 提取这K个邻居的标签
    neighbors_labels = train_labels(neighbors_indices);
    % 统计并找出最常见的标签
    [most_common_label, ~] = mode(neighbors_labels); %众数
    % 将最常见的标签赋给测试样本
    label(i) = most_common_label;
end
end

分别运用欧氏距离和曼哈顿距离的运行结果如下图：

 六、KNN算法的适用范围：

  1. 数据特征明确且重要：当数据的特征空间具有清晰的边界，且特征对分类结果有显著影响时，KNN算法通常能表现出色。这是因为KNN直接基于特征空间中的距离来进行分类，所以特征的选择和表示对于算法性能至关重要。

  2. 样本数量适中：对于中等大小的数据集，KNN算法通常是一个有效的选择。然而，当数据集非常大时，KNN的计算成本可能会显著增加，因为需要计算每个查询点与所有训练点之间的距离。在这种情况下，可能需要考虑使用更高效的算法或数据结构来加速距离计算。

  3. 数据分布不均匀：KNN算法对数据的分布没有严格的假设，因此它适用于那些不符合正态分布或其他特定分布的数据集。特别是在数据分布不均匀或存在多个类别的情况下，KNN算法能够很好地处理这些复杂情况。

  4. 类别决策边界复杂：当类别的决策边界非常复杂或不规则时，KNN算法可能是一个好选择。由于KNN算法是基于实例的，它可以很好地捕捉数据中的局部结构和模式，从而在处理复杂决策边界时表现出色。

  5. 实时更新：KNN算法在需要实时更新分类模型的情况下非常有用。由于它不需要显式的训练阶段，只需存储训练数据即可，因此当新的数据点出现时，可以很容易地将其纳入分类过程中。

需要注意的是，虽然KNN算法在某些情况下表现良好，但它也有一些局限性。例如，它对特征的缩放和噪声敏感，可能需要进行特征预处理和参数调优以获得最佳性能。此外，KNN算法的计算成本随着数据集的增长而增加，因此在处理大型数据集时可能不够高效。在选择是否使用KNN算法进行分类时，需要综合考虑这些因素。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1589485.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

电子元器件线上交易商城搭建的价值和必要性-加速度jsudo

电子元器件线上交易商城搭建的价值和必要性-加速度jsudo

随着科技的飞速发展&#xff0c;电子元器件行业正迎来前所未有的变革。为了满足市场对于电子元器件采购的便捷性、高效性和多样性的需求&#xff0c;电子元器件商城的开发显得尤为重要。本文将探讨电子元器件商城开发的重要性、主要功能以及它如何助力行业发展。 电子元器件商城…
阅读更多...
Open CASCADE学习|BrepOffsetAPI_ThruSections无法放样成Solid

Open CASCADE学习|BrepOffsetAPI_ThruSections无法放样成Solid

目录 1、边界线&#xff08;TopoDS_Wire&#xff09;不在一个平面上时&#xff0c;无法生成Solid 2、边界线&#xff08;TopoDS_Wire&#xff09;在一个平面上时&#xff0c;可以生成Solid 3、边界线&#xff08;TopoDS_Wire&#xff09;不在一个平面上时&#xff0c;添加To…
阅读更多...
每日OJ题_01背包①_牛客DP41 【模板】01背包（滚动数组优化）

每日OJ题_01背包①_牛客DP41 【模板】01背包（滚动数组优化）

目录 牛客DP41 【模板】01背包 问题一解析 问题二解析 解析代码 滚动数组优化代码 牛客DP41 【模板】01背包 【模板】01背包_牛客题霸_牛客网 #include <iostream> using namespace std;int main() {int a, b;while (cin >> a >> b) { // 注意 while 处…
阅读更多...
力扣刷题 二叉树层序遍历相关题目II

力扣刷题 二叉树层序遍历相关题目II

NO.116 填充每个节点的下一个右侧节点指针 给定一个 完美二叉树 &#xff0c;其所有叶子节点都在同一层&#xff0c;每个父节点都有两个子节点。二叉树定义如下&#xff1a; struct Node {int val;Node *left;Node *right;Node *next; } 填充它的每个 next 指针&#xff0c;…
阅读更多...
《疯狂java讲义》Java AWT图形化编程中文显示

《疯狂java讲义》Java AWT图形化编程中文显示

《疯狂java讲义》第六版第十一章AWT中文没有办法显示问题解决 VM Options设置为-Dfile.encodinggbk 需要增加变量 或者这边直接设置gbk 此外如果用swing 就不会产生这个问题了。
阅读更多...
视频中会动的进度条

视频中会动的进度条

视频中会动的进度条 1.成果展示&#xff1a;2.步骤&#xff1a; 1.成果展示&#xff1a; 2.步骤&#xff1a;
阅读更多...
In Memoriam Fabrizio Flacco

In Memoriam Fabrizio Flacco

一、背景 最近在看人机协作相关的论文&#xff0c;其中有一篇是Arash Ajoudani于2018发表在Autonomous Robots题为Progress and prospects of the human–robot collaboration的综述。当看到最后Acknowledgements部分&#xff0c;有一句话是The authors would like to thank a…
阅读更多...
【React】React18+Typescript+craco配置最小化批量引入Svg并应用的组件

【React】React18+Typescript+craco配置最小化批量引入Svg并应用的组件

React18Typescriptcraco配置最小化批量引入Svg并应用的组件 前言创建React Typescript项目通过require.context实现批量引入Svg安装[types/webpack-env](https://github.com/DefinitelyTyped/DefinitelyTyped/blob/master/README.zh-Hans.md)解决类型报错安装[craco](https://…
阅读更多...
如何免费搭建幻兽帕鲁服务器？

如何免费搭建幻兽帕鲁服务器？

雨云是一家国内的云计算服务提供商&#xff0c;为了吸引用户推出了积分兑换云产品活动&#xff0c;只需要完成简单积分任务即可获得积分&#xff0c;积分可以兑换免费游戏云、对象存储或者虚拟主机。本文将给大家分享雨云免费游戏云领取及幻兽帕鲁开服教程。 第一步&#xff1a…
阅读更多...
每日一题---OJ题: 合并两个有序链表

每日一题---OJ题: 合并两个有序链表

嗨!小伙伴们,好久不见啦! 今天我们来看看一道很有意思的一道题---合并两个有序链表 嗯,题目看上去好像不难,我们一起画图分析分析吧! 上图中,list1有3个结点,分别为1,2,3 ; list2中有3个结点,分别为1,3,4, 题目要求我们要将这两个链表合并到一起,并且是升序,最后将链表返回。 …
阅读更多...
【JAVA基础篇教学】第六篇：Java异常处理

【JAVA基础篇教学】第六篇：Java异常处理

博主打算从0-1讲解下java基础教学&#xff0c;今天教学第五篇&#xff1a; Java异常处理。 异常处理是Java编程中重要的一部分&#xff0c;它允许开发人员在程序运行时检测和处理各种错误情况&#xff0c;以保证程序的稳定性和可靠性。在Java中&#xff0c;异常被表示为对象&am…
阅读更多...
大型网站系统架构演化

大型网站系统架构演化

大型网站质量属性优先级&#xff1a;高性能 高可用 可维护 应变 安全 一、单体架构 应用程序&#xff0c;数据库&#xff0c;文件等所有资源都在一台服务器上。 二、垂直架构 应用和数据分离&#xff0c;使用三台服务器&#xff1a;应用服务器、文件服务器、数据服务器 应用服…
阅读更多...
TCM SRAM等五块内存的使用和动态分配

TCM SRAM等五块内存的使用和动态分配

TCM SRAM等五块内存的使用和动态分配 配置sct文件内存使用动态内存分配rtx_lib.hrtx_memory.cmain.c 配置sct文件 LR_IROM1 0x08000000 0x00200000 { ; load region size_regionER_IROM1 0x08000000 0x00200000 { ; load address execution address*.o (RESET, First)*(InRoo…
阅读更多...
1113. 红与黑--Flood Fill 算法

1113. 红与黑--Flood Fill 算法

目录 1113. 红与黑--Flood Fill 算法---宽搜&#xff08;BFS&#xff09;或DFS&#xff09; 输入格式 输出格式 数据范围 输入样例&#xff1a; 输出样例&#xff1a; 思路&#xff1a; 1.BFS 思路&#xff1a; 2.DFS 思路 方法一&#xff1a;&#xff08;BFS&#x…
阅读更多...
玉伯也创业了，曾经的互联网高P也慢慢的落幕了

玉伯也创业了，曾经的互联网高P也慢慢的落幕了

玉伯是真创业还是被动创业&#xff1f;毕竟&#xff0c;在阿里的时候&#xff0c;他可是Ant Design和语雀的大佬&#xff0c;风光无限&#xff0c;谁都知道他的大名。但后来&#xff0c;他去了字节&#xff0c;待了不到一年就跑了&#xff0c;现在选择出来创业。是不是曾经的那…
阅读更多...
文章分享：《二代测序临床报告解读指引》

文章分享：《二代测序临床报告解读指引》

&#xff3b;摘要&#xff3d; 二代测序&#xff08;next generation sequencing&#xff0c;NGS&#xff09;已成为中国临床肿瘤医生常用检测工具&#xff0c;而中国超 90%临床医生需要 NGS 报告解读支持。因此&#xff0c;为提升临床医生 NGS 报告解读能力&#xff0c;特编写…
阅读更多...
ETL结合飞书快速实现业务信息同步

ETL结合飞书快速实现业务信息同步

一、ETL工具介绍 ETLCloud数据集成平台是一款针对IT以及数据工程师推出的全域数据集成平台产品。它是集实时数据集成和离线数据集成以及API发布为一体的数据集成平台。与其他开源数据集成工具相比&#xff0c;系统采用轻量化架构、具有更快的部署速度、更快的数据传输速度、更…
阅读更多...
宏景eHR customreport/tree SQL注入漏洞复现

宏景eHR customreport/tree SQL注入漏洞复现

0x01 产品简介 宏景eHR人力资源管理软件是一款人力资源管理与数字化应用相融合，满足动态化、协同化、流程化、战略化需求的软件。 0x02 漏洞概述 宏景eHR customreport/tree 接口处存在SQL注入漏洞，未经过身份认证的远程攻击者可利用此漏洞执行任意SQL指令，从而窃取数据库…
阅读更多...
HarmonyOS-数据请求（http / axios）

HarmonyOS-数据请求（http / axios）

一、http数据请求 步骤&#xff1a; 1.在module.json5中申请ohos.permission.INTERNET权限 "module": {"requestPermissions": [{ "name": "ohos.permission.INTERNET" }],...} 2.在xxx.ets页面中导入&#xff1a;import http fro…
阅读更多...
RPC简单介绍

RPC简单介绍

Rpc框架&#xff0c;来为模块间远程功能交互提供⽀撑&#xff1b; 这个Rpc框架中有诸如RpcServer、RpcService、RpcSystem、RpcEndpoint等⼤量设计封装&#xff1b; 1. 基本概念 RPC&#xff1a;远程过程调⽤&#xff08;Remote Procedure Call&#xff09;&#xff1b; •…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023