HuggingFists系统功能介绍(5)--环境资源

news2024/10/3 8:31:18

模型库

    模型库用于管理由HuggingFists系统自己生成的或者外部导入的各种模型。如:HuggingFace网站提供的各类模型可导入该模块进行统一管理及部署。该功能目前在HuggingFists的社区版中并未提供。

环境管理

环境管理-工作节点

环境管理-服务配置

        环境管理主要用于与使用者的环境进行整合,最大限度的整合使用者已具备的各类能力。这种整合即可以提升工程实施效率又可以节省实施成本。

        环境管理目前包括:集群、工作节点以及服务配置三个子模块。其中集群模块在HuggingFists的社区版中并未提供。该模块主要用于整合使用者环境中的计算集群,方便调度运行基于Spark、Flink计算框架编写的流程。

        工作节点用于管理HuggingFists的计算节点,用于解释执行基于算子定义的数据处理或分析流程。HuggingFists的社区版缺省状况下只安装了一个单机计算节点,其企业版支持安装管理多计算节点。当使用者流程众多且需要并发调度时,可以将流程交给不同的计算节点并发运行。

        服务配置用于管理各类连接器、算子运行时所需的公共服务。如:Http代理等。

        环境管理介绍完了,下面我们看一下资源库管理。

资源库

      

    资源库管理包括连接器库、算子库以及Prompt(提示)库三种类型的库。

连接器库

        连接器库用于注册管理各类连接器。连接器是HuggingFists中的一种特殊插件,通过连接器可以创建与各类存储系统的数据连接。每种数据源都有一个专属的连接器。连接器分为四类,如我们在数据源中介绍的,数据源分为数据库、文件系统、事件流以及应用系统四类。连接器的类型与此一一对应。

        HuggingFists系统提供了一套连接器的开发标准,目前尚未开放。等标准开放后,开发者可以依此标准扩展打包不同的连接器。并通过“上传”按钮注册连接器。连接器注册成功后,在数据源管理模块就可以看到连接器所注册的数据源类型并可创建对应的数据源了。

算子库

        再看一下算子库。算子库用于注册管理各类算子。HuggingFists提供的算子主要分为:输入、输出、读取、写出、处理、分析、资源、控制以及动作9类。算子库以算子类型作为分组标准对算子进行分组管理。

  1. 输入算子用于从数据源读取数据;输出算子用于向数据源写出数据;当一个流程中一般每增加一个连接器就会配套增加一对输入、输出算子。
  2. 资源算子用于优化输入、输出时的资源占用,如数据库连接算子,当某个流程中需要读写同一数据库时,可以加入一个数据库连接算子,使数据库的读写算子复用同一数据连接。
  3. 读取算子用于特定格式文件;写出算子用于写出特定格式的文件。
  4. 处理算子用于实现对数据的各类处理,这是算子库中最丰富的一类算子。
  5. 分析算子封装了各类分析算法,用于实现对数据的模型训练,如:分类、聚类等算法。
  6. 控制算子用于控制数据流的流转逻辑。如:条件控制算子、数据集复制算子等。
  7. 动作算子用于完成特定功能的操作,如:表清空操作、文件删除操作等。

使用者可以通过“检索”页面检索所需的算子,了解算子的用法。

Prompt库

再看一下Prompt提示库。该库主要用于管理提示工程中的“提示”。如今“提示”是使用者与LLM交互的桥梁。使用者通过向LLM输入提示信息来驱动模型完成指定的工作。由于LLM内部知识呈现黑盒特征,且不同的LLM间也有差异。所以使用者需要“提示工程”来设计和积累输入何种提示信息能够让LLM按照使用者的要求输出结果。

HuggingFists给出了提示库管理功能,可以帮助用户不断积累提示模板。支持使用者对提示模板进行分组管理;支持使用者设置提示模板可以应用的模型族系、类型等信息。

HuggingFists是目前为数不多能够提供提示模板积累并可以直接应用的工具。

总结

    HuggingFists系统的基本功能我们介绍完了。感兴趣的朋友可以安装并试用下了。通过本次介绍,使用者应该可以自行搭建自己的数据处理或分析流程了。至于HuggingFists系统还有很多应用细节,我们后续将再做专题介绍。在此之前,大家也可以自行点击摸索使用,期间大家碰到什么问题或有任何建议可以扫描下面的二维码加入群组与我们一起讨论。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1471698.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

网络安全“三保一评”深度解析

“没有网络安全就没有国家安全”。近几年,我国法律法规陆续发布实施,为承载我国国计民生的重要网络信息系统的安全提供了法律保障,正在实施的“3保1评”为我国重要网络信息系统的安全构筑了四道防线。 什么是“3保1评”? 等保、分…

docker小知识:linux环境安装docker

安装必要软件包,执行如下命令 yum install -y yum-utils device-mapper-persistent-data lvm2目的是确保在安装 Docker 之前,系统已经安装了必要的软件包和服务,以支持 Docker 的正常运行。设置yum源,添加Docker官方的CentOS存储…

虹科技术|PTP时钟源设备全攻略:从普通时钟到透明时钟的进阶之路

导读:在现代通信技术中,精确时间同步对于保障网络性能至关重要。PTP(Precision Time Protocol)时钟源设备作为实现高精度时间同步的关键组件,其配置和选择对于网络架构师和工程师来说至关重要。本文将探讨普通时钟和透…

【JS】事件绑定方法自带一个形参e“function(e)”,what is e?

在学习js的时候 我跳过了一部分章节的内容,导致现在学习react的时候很多内容都不知所措,因为这些教程都是建立在它认为你js所有内容都掌握的前提下,当然这是我自身的原因。需要反省。 下面是正题: 我们知道js有很多事件&#…

举个栗子!Quick BI 技巧(6):词云图的制作及应用

众所周知,在数据分析中,词云图常用来制作用户画像和用户标签,应用场景非常多。例如,我们可以对所有的产品名称进行分析。它可以很直观的告诉我们:哪些产品的销售额更突出,并且还可以通过词云与地图的数据联…

React歌词滚动效果(跟随音乐播放时间滚动)

首先给audio绑定更新时间事件 const updateTime e > {console.log(e.target.currentTime)setCurrentTime(e.target.currentTime);};<audiosrc{currentSong.url}ref{audio}onCanPlay{ready}onEnded{end}onTimeUpdate{updateTime}></audio>当歌曲播放时间改变的时…

抖音视频评论采集软件|抖音数据抓取工具

抖音视频评论采集软件是一款基于C#开发的高效、便捷的工具&#xff0c;旨在为用户提供全面的数据采集和分析服务。该软件不仅支持通过关键词进行搜索抓取&#xff0c;还能够通过分享链接进行单个视频的抓取和下载&#xff0c;让用户轻松获取抖音视频评论数据。 其中&#xff0c…

macOS 12 Monterey 支持电脑型号macOS Monterey 12新功能

macOS 12 Monterey是苹果公司于2021年6月8日在WWDC2021上正式发布的操作系统。这个版本的macOS带来了许多新功能&#xff0c;包括快捷指令、Mac和iPad的通用控制等。 其中&#xff0c;通用控制功能在后续的版本更新中得到了进一步的完善和优化。在2022年5月13日发布的macOS Mo…

4.测试教程 - 用例篇

文章目录 1.测试用例的基本要素2.测试用例的给我们带来的好处3.测试用例的设计方法3.1基于需求进行测试用例的设计3.1.1功能需求测试分析3.1.2非功能需求测试分析 3.2具体的设计方法3.2.1等价类3.2.2边界值3.2.3错误猜测法3.2.4判定表3.2.5场景设计法3.2.6因果图3.2.7因果图的需…

golang学习2,golang开发配置国内镜像

go env -w GO111MODULEon go env -w GOPROXYhttps://goproxy.cn,direct

为什么主动学PMP?

项目管理的定义&#xff1a;“为创造独特的产品、服务或结果而进行的临时性工作”&#xff0c;从此刻开始&#xff0c;我们可以把“获得PMP认证”当作我们第一个项目管理工作来推进。 作为一个传统的制造企业的HR&#xff0c;我们在与业务部门沟通时、推进各项活动时、开展改善…

Java面试——锁

​ 公平锁&#xff1a; 是指多个线程按照申请锁的顺序来获取锁&#xff0c;有点先来后到的意思。在并发环境中&#xff0c;每个线程在获取锁时会先查看此锁维护的队列&#xff0c;如果为空&#xff0c;或者当前线程是等待队列的第一个&#xff0c;就占有锁&#xff0c;否则就会…

nginx之web服务器 页面配置

4.3.8 自定义 错误页面 我们 可以改变 默认的错误页面&#xff0c;同时也可以用指定的响应状态码进行响应, 可用位置&#xff1a;http, server, location, if in location 格式&#xff1a; error_page code ... [[response]] uri; 页面错误代码 error_page 固定写法 c…

Keil5 配置jlink及jlink下载程序,程序没有运行

1.先选好对应的芯片设备 之后步骤参考这个&#xff1a;MDK5 JLINK配置流程_keil5配置jlink仿真器步骤-CSDN博客 2.jlink下载程序之后板子没有运行可以查看reset and run是否有没有勾选

IDEA启动Springboot报错:无效的目标发行版:17 的解决办法

无效的目标发行版&#xff1a;17 的解决办法 一般有两个原因&#xff0c;一可能是本地没有安装JDK17&#xff0c;需要安装后然后在IDEA中选择对应版本&#xff1b;二可能是因为IDEA版本太低&#xff0c;不支持17&#xff0c;需要升级IDEA版本。然后在File->Project Struct…

EI论文复现:基于深度强化学习的微能源网能量管理与优化策略研究程序代码!

适用平台&#xff1a;python环境tensorflow 2.x 程序深入阐述强化学习的框架、Q学习算法和深度Q网络&#xff08;DQN&#xff09;算法的基础理论的基础上&#xff0c;分析了提升DQN性能的经验回放机制与冻结参数机制&#xff0c;并以经济性为目标完成了微能源网能量管理与优化…

国产替代MATLAB的征途

国产替代MATLAB的征途 The Journey of Domestic Alternatives to MATLAB 在科技的浪潮中&#xff0c;软件成为了推动进步的重要工具。MATLAB&#xff0c;这一工程和科学计算的巨擘&#xff0c;因其强大的数值分析、矩阵运算能力和丰富的应用工具箱&#xff0c;在全球学术界和工…

google浏览器chrome无法访问localhost等本地虚拟域名的解决方法

场景一&#xff1a; 谷歌浏览器访问出现&#xff1a;forbbiden 403 问题&#xff0c;或者直接跳转到正式域名(非本地虚拟域名) 访问本地的虚拟域名http://www.hd.com/phpinfo.php?p1发生了302 条状 火狐浏览器正常访问; 解决方法&#xff1a; 方法1&#xff1a;在谷歌浏览器…

部署VUE+SpringBoot+nginx项目

本文是前端是vite element-plus 后端 springBoot 部署整个项目主要分为3个步骤&#xff0c; 1. 部署nginx&#xff0c;主要是配置nginx.conf 2.打包前端代码 3.打包后端代码 1.安装nginx 安装手顺&#xff1a; linux安装nginx_linux安装nginx需要gcc还是gcc-c-CSDN…

《Docker 简易速速上手小册》第8章 Docker 在企业中的应用(2024 最新版)

文章目录 8.1 Docker 在开发环境中的应用8.1.1 重点基础知识8.1.2 重点案例&#xff1a;Python Web 应用开发环境8.1.3 拓展案例 1&#xff1a;Python 数据分析环境8.1.4 拓展案例 2&#xff1a;Python 自动化测试环境 8.2 Docker 在生产环境的实践8.2.1 重点基础知识8.2.2 重点…