scipy

news2025/1/12 9:56:07

scipy.interpolate插值方法

import numpy as np
def func(x, y):
    return x*(1-x)*np.cos(4*np.pi*x) * np.sin(4*np.pi*y**2)**2

grid_x, grid_y = np.mgrid[0:1:100j, 0:1:200j]

rng = np.random.default_rng()
points = rng.random((1000, 2))
values = func(points[:,0], points[:,1])

from scipy.interpolate import griddata
grid_z0 = griddata(points, values, (grid_x, grid_y), method='nearest')
grid_z1 = griddata(points, values, (grid_x, grid_y), method='linear')
grid_z2 = griddata(points, values, (grid_x, grid_y), method='cubic')

from scipy import interpolate

tck = interpolate.bisplrep(points[:,0], points[:,1], values, s=0)
znew = interpolate.bisplev(grid_x, grid_y, tck)

plt.figure()
plt.pcolormesh(grid_x, grid_y, znew, shading='flat', **lims)
plt.colorbar()
plt.title("Interpolated function.")
plt.show()

2

import numpy as np
from scipy import interpolate
import matplotlib.pyplot as plt

x_edges, y_edges = np.mgrid[-1:1:21j, -1:1:21j]
x = x_edges[:-1, :-1] + np.diff(x_edges[:2, 0])[0] / 2.
y = y_edges[:-1, :-1] + np.diff(y_edges[0, :2])[0] / 2.
print(x_edges.shape, x.shape)

z = (x+y) * np.exp(-6.0*(x*x+y*y))
plt.figure()
lims = dict(cmap='RdBu_r', vmin=-0.25, vmax=0.25)
plt.pcolormesh(x_edges, y_edges, z, shading='flat', **lims)
plt.colorbar()
plt.title("Sparsely sampled function.")
plt.show()

3

xnew_edges, ynew_edges = np.mgrid[-1:1:71j, -1:1:71j]
xnew = xnew_edges[:-1, :-1] + np.diff(xnew_edges[:2, 0])[0] / 2.
ynew = ynew_edges[:-1, :-1] + np.diff(ynew_edges[0, :2])[0] / 2.

grid_x, grid_y = xnew, ynew
points = np.hstack((x.reshape(-1, 1), y.reshape(-1, 1)))
z = z.reshape(-1, 1)
print(points.shape, z.shape)
from scipy.interpolate import griddata
grid_z0 = griddata(points, z, (grid_x, grid_y), method='nearest').squeeze()
grid_z1 = griddata(points, z, (grid_x, grid_y), method='linear').squeeze()
grid_z2 = griddata(points, z, (grid_x, grid_y), method='cubic').squeeze()


print(grid_x.shape, grid_z0.shape)
plt.figure()
lims = dict(cmap='RdBu_r', vmin=-0.25, vmax=0.25)
plt.pcolormesh(xnew_edges, ynew_edges, grid_z0, shading='flat', **lims)
plt.colorbar()
plt.title("Sparsely sampled function.")
plt.show()

plt.figure()
lims = dict(cmap='RdBu_r', vmin=-0.25, vmax=0.25)
plt.pcolormesh(xnew_edges, ynew_edges, grid_z1, shading='flat', **lims)
plt.colorbar()
plt.title("Sparsely sampled function.")
plt.show()


plt.figure()
lims = dict(cmap='RdBu_r', vmin=-0.25, vmax=0.25)
plt.pcolormesh(xnew_edges, ynew_edges, grid_z2, shading='flat', **lims)
plt.colorbar()
plt.title("Sparsely sampled function.")
plt.show()

from scipy.interpolate import RegularGridInterpolator
print(points.shape, z.shape)

points1 = [np.linspace(-1, 1, 20), np.linspace(-1, 1, 20)]
interpg = RegularGridInterpolator(points1, z.reshape([20,20]))
test_points = np.array([grid_x.ravel(), grid_y.ravel()]).T
print( grid_x.shape)
im = interpg(test_points).reshape(70,70)

print(grid_x.shape, im.shape)
plt.figure()

lims = dict(cmap='RdBu_r', vmin=-0.25, vmax=0.25)
plt.pcolormesh(xnew_edges, ynew_edges, im, shading='flat', **lims)
plt.colorbar()
plt.title("Sparsely sampled function.")
plt.show()

4

import numpy as np
from scipy.interpolate import Rbf
import matplotlib.pyplot as plt
from matplotlib import cm

# 2-d tests - setup scattered data
rng = np.random.default_rng()
x = rng.random(400)*4.0-2.0
y = rng.random(400)*4.0-2.0
z = x*np.exp(-x**2-y**2)
edges = np.linspace(-2.0, 2.0, 101)
centers = edges[:-1] + np.diff(edges[:2])[0] / 2.
XI, YI = np.meshgrid(centers, centers)

# use RBF
rbf = Rbf(x, y, z, epsilon=2)
ZI = rbf(XI, YI)

# plot the result
plt.figure()
plt.subplot(1, 1, 1)
X_edges, Y_edges = np.meshgrid(edges, edges)
lims = dict(cmap='RdBu_r', vmin=-0.4, vmax=0.4)
plt.pcolormesh(X_edges, Y_edges, ZI, shading='flat', **lims)
plt.scatter(x, y, 100, z, edgecolor='w', lw=0.1, **lims)
plt.title('RBF interpolation - multiquadrics')
plt.xlim(-2, 2)
plt.ylim(-2, 2)
plt.colorbar()
plt.show()

points1 = np.array([x.ravel(), y.ravel()]).T
points2 = np.array([XI.ravel(), XI.ravel()]).T
grid_z2 = griddata(points1, z, points2, method='cubic').reshape(100, 100)
print(ZI.shape, grid_z2.shape)
# plot the result
plt.figure()
plt.subplot(1, 1, 1)
X_edges, Y_edges = np.meshgrid(edges, edges)
lims = dict(cmap='RdBu_r', vmin=-0.4, vmax=0.4)
plt.pcolormesh(X_edges, Y_edges, grid_z2, shading='flat', **lims)
plt.scatter(x, y, 100, z, edgecolor='w', lw=0.1, **lims)
plt.title('RBF interpolation - multiquadrics')
plt.xlim(-2, 2)
plt.ylim(-2, 2)
plt.colorbar()

5

import matplotlib.pyplot as plt
from scipy.interpolate import RegularGridInterpolator
def F(u, v):
    return u * np.cos(u * v) + v * np.sin(u * v)

fit_points = [np.linspace(0, 3, 8), np.linspace(0, 3, 8)]
values = F(*np.meshgrid(*fit_points, indexing='ij'))
print(fit_points, values.shape)

ut, vt = np.meshgrid(np.linspace(0, 3, 80), np.linspace(0, 3, 80), indexing='ij')
true_values = F(ut, vt)
test_points = np.array([ut.ravel(), vt.ravel()]).T
print(ut.shape, true_values.shape, test_points.shape)

1.1 1D

from scipy.interpolate import interp1d

1.2 2D, multivariate data

from scipy.interpolate import interp2d

from scipy.interpolate import griddata
可以应用在2Dlut，3Dlut的生成上面，当我们已经有了一些map point, 通过这些map point可以得到，输入grid data,可以得到一个查找表。

1.3 Multivariate data interpolation on a regular grid

from scipy.interpolate import RegularGridInterpolator

已知一些grid上的值。
可以应用在2Dlut，3Dlut，当我们已经有了一个多维查找表，然后整个图像作为输入，得到查找和插值后的输出。

sklearn.neighbors 最近邻相关算法，分类和插值

主要介绍 sklearn.neighbors 相关方法

1. 查找最近邻元素

from sklearn.neighbors import NearestNeighbors
import numpy as np

'''
找到K近邻
X是训练集，NearestNeighbors 拟合
Y是输入，输出与Y最近的训练集中的样本和距离
'''

# x 是离散的一些二维点
X = np.array([[-1, -1], [-2, -1], [-3, -2], [1, 1], [2, 1], [3, 2]])
# 最近邻模型，n_neighbors=2 表示2个最近邻，algorithm可以选择使用的算法，结果是一致的，效率高低不同， metric 选择度量方法
nbrs = NearestNeighbors(n_neighbors=2, algorithm='ball_tree', metric='euclidean').fit(X) # ['auto', 'ball_tree', 'kd_tree', 'brute']


Y = np.array([[0, 0], [4, 4]])
plt.figure()
plt.plot(X[..., 0], X[..., 1], 'r+', Y[..., 0], Y[..., 1], 'g*',)
plt.show()

# 查找 Y的2个最近邻的距离  和  索引
distances, indices = nbrs.kneighbors(Y)
print(distances, indices)

输出距离Y最近的2个元素索引和距离

在这里插入图片描述

输出邻接矩阵 和 可选的度量方法

# 输出邻接矩阵，稀疏图
nbrs.kneighbors_graph(Y).toarray()
# 输出可以使用的距离指标
from sklearn.neighbors import KDTree, BallTree 
print(sorted(KDTree.valid_metrics))
print(sorted(BallTree.valid_metrics))

output:

在这里插入图片描述

2. 最近邻分类

最近邻分类，并不进行建模。
scikit-learn 实现了两种不同的最近邻分类器：
KNeighborsClassifier实现基于 查询点的k个最近邻居，其中k是由用户指定的整数值。
RadiusNeighborsClassifier根据固定半径内的邻居数量确定分类，其中r是由用户指定的浮点值。

k-neighbors 分类KNeighborsClassifier 是最常用的技术。k值的最优选择 高度依赖于数据：一般来说，一个更大的k 抑制噪声的影响，但使分类边界不那么明显。

在数据未均匀采样的情况下，基于半径的邻居分类RadiusNeighborsClassifier可能是更好的选择。用户指定固定半径r，使得稀疏邻域中的点使用较少的最近邻进行分类。
对于高维参数空间，由于所谓的“维数灾难”，这种方法变得不太有效。

基本的最近邻分类使用统一权重：也就是说，分配给查询点的值是根据最近邻的简单多数票计算得出的。在某些情况下，最好对邻居进行加权，使得更近的邻居对拟合的贡献更大。
这可以通过weights关键字来完成。默认值 为每个邻居分配统一的权重。 可以提供用户定义的距离函数来计算权重。weights = ‘uniform’ 或者 weights = ‘distance’

使用方法：

n_neighbors = 15
weights = 'distance'
clf = neighbors.KNeighborsClassifier(n_neighbors, weights=weights)
clf.fit(X, y)
clf.predict(input)

3. 最近邻回归

同理，也有最近邻回归
scikit-learn 实现了两个不同的邻居回归器：
KNeighborsRegressor实现基于 查询点的k个最近邻居，其中k是由用户指定的整数值。
RadiusNeighborsRegressor基于固定半径内的邻居实现学习查询点，其中r是由用户指定的浮点值。

使用方法：

n_neighbors = 5
weights = 'uniform'
knn = neighbors.KNeighborsRegressor(n_neighbors, weights=weights)
y_ = knn.fit(X, y).predict(input)

4. NearestCentroid 最近邻质心分类

NearestCentroid
如果我们不再是求解到所有样本的距离，而是求解到不同类别样本中心的距离，距离哪个样本中心最近，我们即认为该待预测样本属于哪个类，这就是NearestCentroid算法.
该算法能降低计算量，但是对于不是中心分布的样本来说，准确率不高。

from sklearn.neighbors import NearestCentroid
import numpy as np
X = np.array([[-1, -1], [-2, -1], [-3, -2], [1, 1], [2, 1], [3, 2]])
y = np.array([1, 1, 1, 2, 2, 2])
clf = NearestCentroid()
clf.fit(X, y)

print(clf.predict([[-0.8, -1]]))

shrink_threshold 参数

粗略理解是 类别中心的特征值 除以 类内方差， 再减去 shrink_threshold 参数，如果大于0，说明该特征方差较大，将被去除，避免影响分类结果。
目的在于去除noisy features，使用后效果有优化
如果有误，还请指正

shrinkage = 0.2
clf = NearestCentroid(shrink_threshold=shrinkage)
clf.fit(X, y)
y_pred = clf.predict(X)

5. Neighborhood Components Analysis 邻域成分分析

这篇博客解释的比较清楚 https://blog.csdn.net/Forlogen/article/details/104641190

Neighborhood Components Analysis 是将数据映射到另一个空间，（也可以理解为改变度量距离的函数）

在这里插入图片描述

在矩阵A的转换下，计算softmax 概率, 然后把同一类的概率加起来，希望这个概率大。
在这里插入图片描述

目标是希望正确分类的概率最大
目标函数为

在这里插入图片描述

目前使用 scipy 的 L-BFGS-B 进行Q的求解。 通过设置Q 的维度，可以达到降维的目的。

先使用 Neighborhood Components Analysis 进行转换，再应用KNeighborsClassifier 效果会更好， 因为Neighborhood Components Analysis 将样本转换到一个更好的表达空间。

如果用NCA降维，和LDA，PCA效果比较
NCA分数最高

在这里插入图片描述

代码如下：

# License: BSD 3 clause

import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.decomposition import PCA
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
from sklearn.neighbors import KNeighborsClassifier, NeighborhoodComponentsAnalysis
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

n_neighbors = 3
random_state = 0

# Load Digits dataset
X, y = datasets.load_digits(return_X_y=True)

# Split into train/test
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.5, stratify=y, random_state=random_state
)

dim = len(X[0])
n_classes = len(np.unique(y))

# Reduce dimension to 2 with PCA
pca = make_pipeline(StandardScaler(), PCA(n_components=2, random_state=random_state))

# Reduce dimension to 2 with LinearDiscriminantAnalysis
lda = make_pipeline(StandardScaler(), LinearDiscriminantAnalysis(n_components=2))

# Reduce dimension to 2 with NeighborhoodComponentAnalysis
nca = make_pipeline(
    StandardScaler(),
    NeighborhoodComponentsAnalysis(n_components=2, random_state=random_state),
)

# Use a nearest neighbor classifier to evaluate the methods
knn = KNeighborsClassifier(n_neighbors=n_neighbors)

# Make a list of the methods to be compared
dim_reduction_methods = [("PCA", pca), ("LDA", lda), ("NCA", nca)]

# plt.figure()
for i, (name, model) in enumerate(dim_reduction_methods):
    plt.figure()
    # plt.subplot(1, 3, i + 1, aspect=1)

    # Fit the method's model
    model.fit(X_train, y_train)

    # Fit a nearest neighbor classifier on the embedded training set
    knn.fit(model.transform(X_train), y_train)

    # Compute the nearest neighbor accuracy on the embedded test set
    acc_knn = knn.score(model.transform(X_test), y_test)

    # Embed the data set in 2 dimensions using the fitted model
    X_embedded = model.transform(X)

    # Plot the projected points and show the evaluation score
    plt.scatter(X_embedded[:, 0], X_embedded[:, 1], c=y, s=30, cmap="Set1")
    plt.title(
        "{}, KNN (k={})\nTest accuracy = {:.2f}".format(name, n_neighbors, acc_knn)
    )
plt.show()

6. 参考

[1]https://scikit-learn.org/stable/modules/neighbors.html

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/118038.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

高颜值蓝牙耳机有哪些？音质好颜值高的蓝牙耳机推荐

高颜值蓝牙耳机有哪些？音质好颜值高的蓝牙耳机推荐

喜欢安静的人们，相信都会有一副蓝牙耳机吧，作为我们生活当中必不可少的数码产品，除了手机以外，蓝牙耳机几乎也是使用率很高的，它通过蓝牙连接，非常方便，下面是小编精心挑选的四款蓝牙耳机。 一…
阅读更多...
告别“限速”，个人网盘进入云时代

告别“限速”，个人网盘进入云时代

配图来自Canva可画 在数字经济广泛渗透的条件下，个人网盘市场也得到了长足发展。而在5G和AI的加持下，个人网盘不断进行技术融合和迭代，云盘已然成为互联网用户以及智能设备存储的基本服务，而其应用场景也顺理成章地开始向各个细分…
阅读更多...
window11 node.js 安装与下载

window11 node.js 安装与下载

最近电脑莫名其妙的被一些恶意流氓软件捆绑了，今天我直接给恢复出厂设置了。顺便记录一下软件的安装步骤。 1. 先去官网下载 官网地址 ① 进入到官网后如下图所示 ②根据自己电脑选择合适的版本下载（我是wiindows 64位 ） ③ 双击安装包点击…
阅读更多...
道路交通警示牌数据集以及训练好的YOLO模型权重文件

道路交通警示牌数据集以及训练好的YOLO模型权重文件

道路交通警示牌yolo模型1.交通标志数据集的介绍2.训练出权重文件1.交通标志数据集的介绍 交通标志（国外的交通标志）数据集是经过标注过的数据集，包括77个类别；标注类别如下： ‘200m’, ‘50-100m’, ‘Ahead-Left’, …
阅读更多...
如何写好一份数据分析报告？

如何写好一份数据分析报告？

数据分析报表怎么做？这是一个很笼统的问题，所以这篇尝试从数据分析报表的3个方面来说下，准备了3天，内容较长，心急的小伙伴先看索引： 数据分析报表的原则数据分析报表的数据来源数据分析报表的可视化展示 0…
阅读更多...
【按钮的两种状态 Objective-C语言】

【按钮的两种状态 Objective-C语言】

一、继续上一篇文章的按钮案例 1.先说思路： 1）先把最上面的图片按钮实现了 我们拽1个按钮，给它一个背景图，加一个文字“点我啊” 当你鼠标按下去的时候，换成另1个背景图 当你鼠标按下去的时候，按钮的背景图变了，并且上面的文字也变了，变成“摸我干啥” 当你鼠标抬起…
阅读更多...
Doris-集成其他系统（四）

Doris-集成其他系统（四）

目录0、准备1、Spark 读写 Doris1.1 准备 Spark 环境1.2 使用 Spark Doris Connector1.2.1 SQL 方式读写数据1.2.2 DataFrame 方式读写数据（batch）1.2.3 RDD 方式读取数据1.2.4 配置和字段类型映射1.3 使用 JDBC 的方式（不推荐）2、…
阅读更多...
京东零售大数据云原生架构实践

京东零售大数据云原生架构实践

通常谈到大数据，想到的是大数据平台、Hadoop生态或者数据湖技术，关注于大数据存储、大数据计算方向上的技术发展与应用；谈到云原生，想到的是微服务架构、容器化或者SRE（Site Reliability Engineer）运维范畴…
阅读更多...
圣诞节快乐，程序员们！

圣诞节快乐，程序员们！

一、前言 为了参加圣诞创意大赛，拖着阳过的病体，在咳嗽的间隔时间变长之后，发个帖子沾点节日气氛。前段时间参加了大模型训练营，趁着热度，刷一下AIGC的氛围。 二、创意名 因为生病了，所以就懒&#xff0…
阅读更多...
【Pygamre实战】2023人气超高的模拟经营类游戏：梦想小镇代码版火爆全场，免费体验分享下载哦~

【Pygamre实战】2023人气超高的模拟经营类游戏：梦想小镇代码版火爆全场，免费体验分享下载哦~

前言 梦想还是要有的，万一实现了呢？！今天小编就来用代码实现自己专属的城市——特大都市： 梦想小镇启航。顾名思义，梦想小镇是梦想花开之地。自己当市长不香嘛！ 所有文章完整的素材源码都在👇…
阅读更多...
Unity3d C#实现类似于王者荣耀技能读条和CD冷却的功能（含源码）

Unity3d C#实现类似于王者荣耀技能读条和CD冷却的功能（含源码）

效果 效果如图，主要是释放技能后，有一定的技能的持续时间（也可以设置为0），然后技能释放完成后，技能进入了冷却时间的倒计时，技能冷却完成后就可以再次释放。 实现 UI搭建 UI的搭建较为简单就…
阅读更多...
react基本使用

react基本使用

react基本使用1.基础知识1.1 React 介绍1.2 React特点声明式UI组件化学习一次，随处使用2.基本使用2.1 React 脚手架（CLI）使用 React 脚手架创建项目项目目录结构说明和调整2.2 使用React 的基本步骤2.2.1 导入react和react-dom2.2.2 创建reac…
阅读更多...
2023风丘内推计划——“你的同事 你来挑”

2023风丘内推计划——“你的同事 你来挑”

招 聘 简 章 （一）企业文化 愿 景：让科技更简单 使 命：为客户创造更多价值；为员工创造更多机会；为社会贡献更多美好！ 价值观：诚信敬业、持续创新、团队合作、追求卓越、勇担…
阅读更多...
Redis高可用之集群架构（第三部分）

Redis高可用之集群架构（第三部分）

引言 集群的实际环境模拟可以参考我之前的文章 单机模拟集群（三主两从） 一、集群的工作原理 集群中的节点只能使用0号数据库，而单机数据库没有这个限制。集群中的节点本质上就是一个运行在集群模式下的Redis服务器，Redis服务器在…
阅读更多...
【endnote学习】为什么引用文献时期刊名没有显示为缩写名形式

【endnote学习】为什么引用文献时期刊名没有显示为缩写名形式

为什么引用文献时期刊名没有显示为缩写名形式问题描述问题解决问题描述 在引用文献时，发现有个别文献引用信息中期刊名没有显示为缩写形式。比如(选择显示格式为AIChE): 引用信息里，期刊名“Physical review B”没有自动显示为缩写名。 出现这种情况有…
阅读更多...
c++算法基础必刷题目——前缀和与差分

c++算法基础必刷题目——前缀和与差分

文章目录前缀和与差分算法：1、校门外的树2、值周3、中位数图4、激光炸弹5、二分6、货仓选址前缀和与差分算法： 前缀和与差分算法主要是为了快速求出某个区间的和，例如有一个数组a[10]{0，1，2，3，4…
阅读更多...
unity编辑器窗口介绍

unity编辑器窗口介绍

Hierarchy 摆放了unity游戏中使用的节点。 Scene 场景编辑视图，经常用到。 栅格 场景编辑视图中，有一些栅格，用下面这个就可以控制是否展示栅格。 天空盒（skybox） 天空一片蓝色，也是因为初始创建了蓝色的…
阅读更多...
【聆思CSK6 视觉AI开发套件试用】AI Demo试用

【聆思CSK6 视觉AI开发套件试用】AI Demo试用

本篇文章来自极术社区与聆思科技组织的CSK6 视觉AI开发套件活动，更多开发板试用活动请关注极术社区网站。作者：kings669669 AI套件外观 环境搭建 按照官网手册，我在Windows环境下遇到一些问题，在这里给出我的一些解决办法。不知道…
阅读更多...
端到端数据战略，亚马逊云科技为数据服务带来了什么？

端到端数据战略，亚马逊云科技为数据服务带来了什么？

大约十年前，维克托舍恩伯格在《大数据时代》一书中直言：世界的本质是数据，大数据将开启一次重大的时代转型。 十年之后，维克托舍恩伯格的预言逐渐成真。全球数字经济近年来的蓬勃发展，推动了各行各业的加速转型。如今…
阅读更多...
生成对抗：少样本学习

生成对抗：少样本学习

GAN:少样本学习 任何深度学习模型要获得较好结果往往需要大量的训练数据。但是，高质量的数据往往是稀缺的和昂贵的。好消息是，自从GANs问世以来，这个问题得到妥善解决，我们可以通过GAN来生成高质量的合成数据样本帮助模型训练。通…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023