不确定性量化 (UQ) 可以显著提高预测准确性,在不确定的世界中获得最佳结果昆士兰大学Mike McKerns-中国学者网

news2024/11/27 8:23:51

在不确定的世界中获得最佳结果,

不确定性量化可以解开成功与失败之间的区别。

不确定性量化 (UQ) 可以显著提高预测准确性,提供设计优化,并在充满未知的世界中促进快速解决方案改进。

昆士兰大学的一个机构"不确定性量化基金会",编写了PYTHON多线程库multiprocess。

不确定性量化将未知数转化为信息,从而实现更好的解决方案。

####一切都有不确定性,不确定性是现实世界中固有的一部分,几乎影响工程设计、建模和风险的所有方面。

通常,物理实验中的输入或输出可能是未知的、难以测量的或有误差的。数据可以是统计的、概率的或具有先天随机性的。为了解决问题,经常做出假设和近似,即使它们难以验证和验证。

我们利用量化的不确定性作为决策过程中的关键信息,从而实现更好的决策并降低风险。

您已经在使用UQ。

不确定性量化(UQ)正式解决了统计科学中的未知数。量化最终是以数学或计算形式表达问题中所有信息的能力。UQ是不确定性的表达,或者只是统计上已知的,其形式可以为解决方案提供信息。许多常用的统计技术都属于昆士兰大学的范畴,包括:风险分析、工程设计、蒙特卡罗抽样、贝叶斯推理和机器学习。不确定性量化基金会是一家位于特拉华州的 501(c)(3) 非营利性公司。

#####

Michael McKerns - 加州理工学院/昆士兰大学基金会

Mike自2002年以来一直是加州理工学院的研究科学家,在那里他担任两个~1500万美元的预测科学和大规模计算软件项目的经理和首席开发人员。Mike于2012年受雇于Enthought,Inc。在过去的五年中,他的软件一直是几个大规模风险分析和预测科学研究项目的支柱。Mike是昆士兰大学基金会的联合创始人,该基金会是一家促进预测科学发展的非营利组织,也是OUQ理论的共同创始人,OUQ理论是一个用于不确定性量化的严格数学框架。

Mike是不确定性量化软件框架(mystic)的主要作者,该框架由价值1700万美元的加州理工学院PSAAP中心用于材料的高能量密度动态响应的预测建模和模拟,价值400万美元的LANL Exascale极端环境中的材料联合设计中心以及其他几个较小的DOE和DOD项目使用。他作为主要作者的其他软件包括Pathos,Dill,klepto,pyIDL和pygrace。

Mike拥有超过十五年的教学经验,做了一百多次会议和研讨会演讲,并为成千上万的学生教授了入门和高级Python。

#####

针对:差分进化算法不同运行的不同结果:

Mike McKerns(本尊)回答于2021-03-24 20:20得票数 1
我是mystic的作者。正如您所说的,差分进化(DE)是一种随机算法。本质上,DE使用当前解决方案向量上的随机突变来提出新的候选解决方案。因此,在许多情况下,特别是当函数是非线性函数时,您可以期望在不同的运行中得到不同的结果。
理论上,如果你让它永远运行,它会找到全局最小值。然而,我们大多数人都不想等那么久。(也许现在就要得到一个大致的结果,用来指导行动!然后,根据运算不断修正结果,指导下一步行动!)
简短的答案是,在算法中包含随机性的任何求解器通常都需要进行调整,才能获得一致的结果。

#####

正如标题所说,我正在使用Python mystic包中实现的差分进化算法来解决O(10)参数的全局优化问题,并有界限和约束。

我使用的是简单的接口diffev

result = my.diffev(func, x0, npop = 10*len(list(bnds)), bounds = bnds, 
        ftol = 1e-11, gtol = gtol, maxiter = 1024**3, maxfun = 1024**3, 
        constraints = constraint_eq, penalty = penalty, 
        full_output=True, itermon=mon, scale =  scale) 

我多次尝试运行相同的优化:给定差分进化算法的缩放比例,我将优化问题运行10倍。

结果呢?几乎所有的结果我都得到了不同的答案!

我尝试了0.7、0.75、0.8和0.85的缩放比例,所有这些都是大致相同的不良行为(如神秘页面所示)。

这里有一个例子:在x轴上有参数,在y轴上有它们的值。标签表示迭代。理想情况下,您只希望看到一行。

我使用gtol = 3500运行,所以它应该相当长。我使用npop = 10*number pars,ftol = 1e-11,diffev算法的其他重要参数是默认参数。

有没有人有什么建议可以用神秘主义来调整差异进化?有没有办法避免结果中的这种差异?我知道这是一个随机算法,但我没想到它在3500的gtol上运行时会给出不同的结果。我的理解也是这个算法不会陷入局部极小值,但我可能错了。

附注:

这与问题无关,但只是给出一些背景,为什么这对我很重要。

我的工作需要做的是在上面的条件下最小化几个输入数据的函数:我对O(10)参数上的每个数据配置进行优化,然后带有一些参数的配置就是“选择的”配置。

现在,如果优化器不稳定,它可能会给我错误的数据配置作为最佳数据配置,因为我运行了数百个数据配置。

#####

你做错了:统计科学缺乏可重复性,以及如何解决它

迈克尔·麦克恩斯

抽象

Owhadi 等人 [1,2] 最近的数学证明详细说明了当今常见的统计方法中有多少本质上是不可靠的。例如,贝叶斯推理只有在所选先验准确时才能保证正确 - 否则,预测不能保证比随机猜测更有可能为真。统计科学中的常用工具,如贝叶斯推理、蒙特卡洛和机器学习,对问题集施加了强烈的隐含假设,以产生解决方案。这些方法不提供测试方法本身所需的假设的方法。例如,对于贝叶斯推理,必须选择一个先验,其中选择先验本质上将过去变成未来事件的显式预测因子。蒙特卡洛永远无法严格预测风险边界,并成为维度诅咒的受害者。

我们开发了一个全面的数学框架(OUQ)[3,4],能够利用所有可用信息来严格预测高影响罕见事件的影响,其中我们的预测因子是所有可能的有效场景的多重嵌套全局优化。这种优化是高维的、高度约束的、非凸的,并且通常不可能用当前的优化技术来解决;然而,通过将优化约束作为概率分布上的量子算子来解决,我们的软件(称为“Mystic”)[5,6]将高度非线性的统计计算转换为那些几乎令人尴尬的并行计算。通过利用编程模型的抽象以及数据和结果的全局分布式缓存,我们可以从桌面计算扩展到 PB 级和更大,而程序员的负担很小。

在这个框架内,可以测试和验证普通统计科学固有的假设,并且可以严格测试和改进模型。就所提供的信息而言,获得的结果是严格和最佳的,并且应该能够在统计科学的可重复性方面取得长足的进步。该框架已用于计算超高速冲击下的材料破坏、地震地面加速度下结构中的弹塑性破坏以及下一代大规模异构计算集群的设计。包括用于严格约束设计空间、构建标准和统计约束、利用离散和符号数学以及量化不确定性和风险的工具。

本次演讲将以图解形式轻松介绍Owhadi的证明,但主要集中在Owhadi新的严格统计框架在神秘软件中的实施,并讨论统计科学中科学可重复性的前景和影响。

#####

SciPy 是一个开源的 Python 算法库和数学工具包。

Scipy 是基于 Numpy 的科学计算库,用于数学、科学、工程学等领域,很多有一些高阶抽象和物理模型需要使用 Scipy。

SciPy 包含的模块有最优化、线性代数、积分、插值、特殊函数、快速傅里叶变换、信号处理和图像处理、常微分方程求解和其他科学与工程中常用的计算。

#####

国内有学者网:https://www.scholat.com/

学者网(www.scholat.com)是一个学术社交网络服务网站,旨在推动科研工作者的交流合作。提供学术信息管理、文献检索、学术网盘、教学课程管理以及学者交流等服务。

自创立以来,学者网吸引了海内外知名学者和广大师生注册使用,形成了以工程应用、理论研究与学术交流为一体的面向海内外学者的科研平台。帮助广大科研工作者构建自己的学术圈,引导莘莘学子找到适合自己的导师,并且为广大科研求职者提供最新的招聘信息。

学者认证是学者网账号个人主页中的认证标识,代表学者网认证此账号个人信息的真实性。学者认证不代表学者网对该用户及其发布的信息表示支持。

汤庸 Yong TANG 教授/学者网创始人

华南师范大学 计算机学院 /SCHOLAT Lab

数据智能 , 社交网络与人本计算 (教育大数据与学者知识图谱)

SCHOLAT于2009年1月上线,目前注册用户涵盖所有985高校在内的5000+国内外机构,还有4000+课程(含1万+班级、38万+学生),以及亿级学术信息和学术关联,并呈现快速增长态势,已成为独特的科研教学协作平台和大数据生产者。

教育背景(Education Backgroud)

1981.9 湖南省大庸县(现张家界市)理科第一名考入武汉大学计算机科学系,1985年6月获理学学士学位(导师:李卫华)。

1987.9 -1990.3 长沙铁道学院(现中南大学)计算机应用专业硕士研究生(导师:张龙翔教授),1990年6月获武汉大学工学硕士学位(导师:李卫华教授)。

1998.10-2001.6 中国科学技术大学研究生院(北京)(现中国科学院大学)在职攻读博士学位,获中国科学技术大学工学博士学位,导师:杨学良教授(北京),同时得到陈国良院士(合肥)指导。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/166951.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

vue3中常用的指令之v-bind和v-on

一、v-bind指令 一个vue2和vue3之间的不同之处:Vue2中template模板中只能有一个根元素,但是在Vue3中允许template中有多个元素。 1.v-bind的绑定基本属性 某些属性也希望是动态绑定的,比如动态绑定a元素中的href属性。 v-bind可以绑定一个…

verilog学习笔记- 14)静态数码管显示实验

目录 简介: 实验任务: 硬件设计: 程序设计: 下载验证: 简介: 数码管也称半导体数码管,它是将若干发光二极管按一定图形排列并封装在一起的一种数码显示器件。常见的数码管如图这种数码管主要被称为八段数码管或 8 字形数码管,可用来显示小数点、数…

【Linux 基础】

【Linux 基础】 一、 Linux 概述 1. Linux 介绍 UNIX 是一个强大的多用户、多任务操作系统,于1969年在贝尔实验室开发,UNIX 的商标权有国际开放组织(The Open Group)所拥有,UNIX 操作系统是商业版,需要收…

【OpenGL学习】Shader和Shader类的抽象

Shader 本节学习OpenGL中Shader的使用并将其抽象为类,简要介绍OpenGL所使用的着色器语言GLSL。 一、什么是Shader? 参考维基百科中对Shader的定义:着色器 - 维基百科,自由的百科全书 (wikipedia.org) 计算机图形学领域中&…

SpringBoot处理跨域总结

解决跨域的五种方法1、CorsFilter新建一个类Configuration public class CorsConfig {Beanpublic CorsFilter corsFilter() {//1. 添加 CORS配置信息CorsConfiguration config new CorsConfiguration();//放行哪些原始域//springboot版本为2.4.0以前写法config.addAllowedOrig…

kaggle竞赛 | Instant Gratification

kaggle比赛链接: https://www.kaggle.com/competitions/instant-gratification/data 目录普通方案优胜方案1. 用方差筛选特征2.QDA二次判别分析3.数据分组(伪标签)4.查看结果赛题总结普通方案 # 数据集路径 INPUT_PATH ../input/import num…

python学习笔记---进程和线程【廖雪峰】

进程和线程 现在,多核CPU已经非常普及了,但是,即使过去的单核CPU,也可以执行多任务。由于CPU执行代码都是顺序执行的,那么,单核CPU是怎么执行多任务的呢? 答案就是操作系统轮流让各个任务交替…

ESP-IDF:企业链表例程,实现初始化,插入,打印等功能。

例程: 简单地写一下企业链表,实现初始化,插入,打印等功能。 /企业链表/ typedef struct LINKNODE09 { // 定义节点 LINKNODE09 *next; } linknode09; // 定义表头 typedef struct LINKLIST09 { // 定义表头 linknode09 head; in…

【胖虎的逆向之路】03——Android一代壳脱壳办法罗列实操

【胖虎的逆向之路】03——Android脱壳办法罗列&脱壳原理详解 【胖虎的逆向之路】01——动态加载和类加载机制详解 【胖虎的逆向之路】02——Android整体加壳原理详解&实现 文章目录【胖虎的逆向之路】03——Android脱壳办法罗列&脱壳原理详解前言一、主流脱壳方法…

uefi和legacy的区别对比

legacy:[ˈleɡəsi],遗产、遗留。 uefi:Unified Extensible Firmware Interface,统一可扩展固件接口。 当我们自己重装或安装操作系统的时候,可能会遇到硬盘的uefi和legacy两种,不过大多数人并不知道uefi和…

低代码开发前景如何?大家都真的看好低代码开发吗?

栖低代码开发前景如何,大家都真的看好低代码开发吗?之前有些过很多关于低代码的内容,这篇就来梳理下国内外低代码开发平台发展现状及前景。 关于低代码解读看这篇>> 什么是低代码(Low-Code)? 关于低…

SpreadJS.Release.16.0.2 Crack by Xacker

SpreadJS拥有 500 多个 Excel 函数的世界销量第一的 JavaScript 电子表格 快速提供真正类似 Excel 的电子表格体验 - 对 Excel 零依赖。创建财务应用程序,仪表板,图表,数据透视表,性能基准,科学实验室笔记本,以及其他类似的 JavaScript 电子表格应用程序…

77. 语言模型以及代码实现

1. 语言模型 给定文本序列 x1,…,xT,语言模型的目标是估计联合概率p(x1,…,xT)它的应用包括 做预训练模型(eg BERT,GPT-3)生成文本,给定前面几个词,不断使用xt~p(x1,…,xt-1) 来生成后续文本判…

CSS选择器整理学习(上)

在前端项目开发中,有时候需要对特殊的元素进行特殊的处理,但有时候元素的位置不确定、层级不确定、数量不确定等问题,导致我们没办法进行元素的选择,这个时候我们就需要用到元素选择器了。 一、CSS选择器 1、.class 选择器例子…

图像处理解决流程--外观检测

一、图像外观检测和面积计算 1、获取标准图像,提取要测定的区域(截取成多个ROI) 2、将目标图像的位置进行平移和旋转(将目标图像和标准图像进行重叠) 3、根据标准图像的区域进行以此计算目标图像的信息 4、判断统计 二…

Ajax基础

Ajax 是 Asynchronous JavaScript and XML(异步 JavaScript 和 XML)的简写 Ajax 中的异步:可以异步地向服务器发送请求,在等待响应的过程中,不会阻塞当前页面,浏览器可以做自己的事情。直到成功获取响应后…

Maven高级进阶

文章目录1,分模块开发1.1 分模块开发设计1.2 分模块开发实现1.2.1 环境准备1.2.2 抽取domain层步骤1:创建新模块步骤2:项目中创建domain包步骤3:删除原项目中的domain包步骤4:建立依赖关系步骤5:编译maven_02_ssm项目步骤6:将项目安装本地仓库1.2.3 抽取Dao层步骤1:…

iOS vue devtools工具的手把手安装,及Vue.js not detected的解决

使用vue插件Vue.js devtools 一.通过谷歌商店直接下载(要翻墙) 二.不翻墙的方法: 1.官网下载 git地址:https://github.com/vuejs/devtools git clone https://github.com/vuejs/devtools2.完成后命令行里切到该目录下&#x…

AppScan绕过登录验证码深入扫描

系列文章 AppScan介绍和安装 AppScan 扫描web应用程序 AppScan被动手动探索扫描 第四节-绕过登录验证码深入扫描 我们工作中最长碰到的工作场景是网站采用https协议,这时我们要用appScan进行扫描时,就需要先安装证书 1.证书安装 1.新建一个文件&…

渗透测试— —扫描与爆破账号

渗透测试— —扫描与爆破靶机账号 1 扫描与爆破账号流程 注意:仅用于教学与实验,不能用于攻击,否则后果自负 扫描:主机探测与端口扫描。(主机探测:目标主机是存活,端口扫描:在线主…