Save OpenAI response in Azure function to Blob storage

news2024/11/14 22:14:49

题意:将 OpenAI 的响应保存在 Azure 函数中到 Blob 存储

问题背景:

I used blob trigger template to create an Azure function that is triggered by new file updated in Azure blob storage. I am using python v2 to create Azure function in VScode. My issue is not able to store openai result into a new blob file. I noticed my function didn't have a function.json file. I am not sure if this is the problem for my issue. I tried redeploy couple times still didn't create a function.json.

我使用 Blob 触发器模板创建了一个 Azure 函数,该函数由 Azure Blob 存储中的新文件更新触发。我在 VSCode 中使用 Python v2 创建 Azure 函数。我的问题是无法将 OpenAI 的结果存储到一个新的 Blob 文件中。我注意到我的函数没有生成 `function.json` 文件,不确定这是否是导致问题的原因。我尝试重新部署了几次,但仍然没有生成 `function.json` 文件。

import azure.functions as func
import logging
import os
import openai
import PyPDF2
import io
openai.api_type = "azure"
openai.api_version = "2023-05-15" 
openai.api_base = os.getenv("OPENAI_API_BASE")  # Your Azure OpenAI resource's endpoint value.
openai.api_key = os.getenv("OPENAI_API_KEY")

app = func.FunctionApp()


@app.blob_trigger(arg_name="myblob", path="mypath/{name}",
                               connection="<My_BLOB_CONNECTION_SETTING>") 
@app.blob_trigger_output(arg_name="outputblob", path="openai-outputs/text.txt",
                                connection="<My_BLOB_CONNECTION_SETTING>")
def blob_trigger(myblob: func.InputStream, outputblob: func.Out[str]) -> str:
    logging.info(f"Python blob trigger function processed blob"
                f"Name: {myblob.name}"
                f"Blob Size: {myblob.length} bytes")
    pdf_reader = PyPDF2.PdfReader(io.BytesIO(myblob.read()))
    text = ""
    for page in pdf_reader.pages:
        text += page.extract_text()

    logging.info(
                f"textyyy: {text}")
    messages= [
       # my prompt
    ]

    response = openai.ChatCompletion.create(
        engine="testing3",
        messages=messages
    )
    
    logging.info(f"response1111: {response}"
                f"response['choices'][0]['message']['content']: {response['choices'][0]['message']['content']}")
    
    outputblob.set(response['choices'][0]['message']['content'])

i followed this azure documentation to write the above code. It started failed to deploy to Azure function portal.

我按照这个 [Azure 文档](https://azure.microsoft.com/documentation) 编写了上述代码,但开始无法部署到 Azure Function 门户。

问题解决:

I was able to save the response of the OpenAI to blob storage using this code.

我能够使用以下代码将 OpenAI 的响应保存到 Blob 存储中。

I also used python v2. In python V2 function.json file are not available. Binding is created using @app.blob_trigger for trigger binding, @app.blob_input for input binding,@app.blob_outputfor output binding.

我也使用了 Python v2。在 Python v2 中,`function.json` 文件不可用。绑定是通过 `@app.blob_trigger` 创建触发器绑定,通过 `@app.blob_input` 创建输入绑定,通过 `@app.blob_output` 创建输出绑定。

PyPDF2 package is used to work with .pdf files and perform operation on the file.

`PyPDF2` 包用于处理 `.pdf` 文件并对文件执行操作。

I have used @app.blob_trigger to trigger the function code, @app.blob_input to read the content of the file and @app.blob_output to modify the file.

我使用了 `@app.blob_trigger` 来触发函数代码,`@app.blob_input` 来读取文件内容,以及 `@app.blob_output` 来修改文件。

function_app.py:

import azure.functions as func
import logging
import os
import openai
openai.api_type = "azure"
openai.api_base = os.getenv("OPENAI_API_BASE")
openai.api_version = "2023-07-01-preview"
openai.api_key = os.getenv("OPENAI_API_KEY")

app = func.FunctionApp()

@app.blob_trigger(arg_name="myblob", path="response",
                               connection="BlobStorageConnectionString")
@app.blob_input(arg_name="inputblob",path="response/hello.txt",connection="BlobStorageConnectionString")
@app.blob_output(arg_name="output",path="chatgpt-conversation/conversation.txt",connection="BlobStorageConnectionString2")
def blob_trigger(myblob: func.InputStream, inputblob: str, output:func.Out[bytes]):
    logging.info(f"Python blob trigger function processed blob"
                f"Name: {myblob.name}"
                f"Blob Size: {myblob.length} bytes")
    
    content= inputblob
    logging.info(f"Contentof the file is : {content}")

    ai_responses=[]
    response = openai.ChatCompletion.create(
        engine="test_chatgpt",
        messages=[
            {"role": "system", "content": "You are an AI assistant that helps people find information."},
            {"role":"user","content": content}
        ])
    ai_responses.append(f"Input: {content}\nResponse: {response['choices'][0]['message']['content']}\n\n")
    logging.info(ai_responses)
    output.set("\n".join(ai_responses))

local.settings.json

{
  "IsEncrypted": false,
  "Values": {
    "AzureWebJobsStorage": "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
    "FUNCTIONS_WORKER_RUNTIME": "python",
    "AzureWebJobsFeatureFlags": "EnableWorkerIndexing",
    "OPENAI_API_BASE":"https://<xxxxxx>.openai.azure.com/",
    "OPENAI_API_KEY": "xxxxxxxxxxxxxxxxxxxx",
    "BlobStorageConnectionString":"xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
    "BlobStorageConnectionString2":"xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"
  }
}

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2110257.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

SAP ABAP任意表数据查询+快速下载工具

背景&#xff1a; 项目上业务顾问有时候需要下载标准表大量的数据到Excel进行一些比对&#xff0c;但是标准SE16N&#xff0c;SE16的下载电子表格功能在遇到大批量数据的时候会非常慢&#xff0c;于是抽空写了个通用的查询下载工具&#xff0c;可以快速的下载数据。 工具界面&…

Linux - Linux安装部署xxl-job

一、下载源码 xxl-job源码地址&#xff1a; https://github.com/xuxueli/xxl-job 2.4.2版本为例&#xff1a;https://github.com/xuxueli/xxl-job/archive/refs/tags/2.4.1.tar.gz xxl-job文档地址&#xff1a; 分布式任务调度平台XXL-JOB 二、安装依赖环境 因为需要…

Go语言中的RPC协议原理解析

Go语言中的RPC协议原理解析 在分布式系统中&#xff0c;不同的服务或组件通常运行在不同的计算机或进程上。为了实现这些服务之间的通信&#xff0c;我们可以使用RPC&#xff08;Remote Procedure Call&#xff0c;远程过程调用&#xff09;协议。RPC允许我们像调用本地函数一…

【区块链 + 人才服务】FISCO BCOS 高校实训和管理平台 | FISCO BCOS应用案例

深圳市火链文化传播有限公司建设部署 FISCO BCOS 高校实训和管理平台&#xff0c;这是一条多领域覆盖的联盟链&#xff0c;以高 校 政府教育部门 合作企业共同授权成为联盟链节点&#xff0c;实现在政府指导监管下&#xff0c;多行业扩展、多机构参与、多 平台共存的联盟链模…

SparseDrive - 清华地平线开源的e2e的框架

清华地平线合作开发的e2e的框架 SparseDrive资源 论文 https://arxiv.org/pdf/2405.19620 git https://github.com/swc-17/SparseDrive 个人觉得该文章厉害的地方 纯sparse mapping&#xff0c; 3d detection方案, 用的检测头sparse4D V3 sparsev1v2v3基本一致&#xff0c;m…

秒懂:父子进程

1.概念 在操作系统中&#xff0c;当一个进程&#xff08;称为父进程&#xff09;创建另一个新进程&#xff08;称为子进程&#xff09;时&#xff0c;父子进程之间建立了一种特殊的关系。 2.创建父子进程的方法 2.1 fork()函数详解&#xff1a; fork 是一个系统调用&#xff0…

Qt 加载 WPS 时提示要登录

项目中Qt加载word时 默认用wps打开word文档 程序一运行老是提示要立即登录 看着很烦 可以按下面的方法去掉这个烦人的东西 在下面的项目中新建字符串enableforceloginforfirstinstalldevice&#xff0c;值为false即可。

品聚文化--打造票圈神话

热烈祝贺鸿玉祥安文票9月5号正式启动运营 尊敬的各位领导、合作伙伴、客户以及全体品聚的家人们 今天&#xff0c;我们迎来了公司文票正式启动这一历史性的时刻&#xff0c;在此&#xff0c;我谨代表公司及全体员工&#xff0c;向所有关心和支持我们发展的朋友们表示最热烈的祝…

Java进阶13讲__第十讲

IO流、File 1. File 1.1 创建对象 1.1.1 File指向 指向文件 File f1 new File("E:\\TableFace\\Finished\\合同审核.txt"); 指向文件夹 File f2 new File("E:\\TableFace\\Finished"); 指向不存在文件 File f2 new File("E:\\T…

用最简单的话来解释大模型中的Transformer架构

开篇 我个人的观点是要想系统而又透彻地理解 Transformer&#xff0c;至少要遵循下面这样一个思路&#xff08;步骤&#xff09;&#xff1a; 理解NLP基础 在探讨Transformers之前&#xff0c;了解自然语言处理(NLP)的一些基本知识至关重要。NLP使计算机能够理解和生成自然语…

GEE数据集:美国国家结构清单(NSI)用于评估和分析自然灾害的点式结构清单

简介 国家结构清单 国家结构清单&#xff08;NSI&#xff09;是一个数据库系统&#xff0c;其中包含不同质量和空间覆盖范围的结构清单。 NSI 数据库的目的是促进存储和共享用于评估和分析自然灾害的点式结构清单。 洪水风险是主要用途&#xff0c;但每个结构都有足够的数据来…

prompt实用技巧-竞对分析-飞书发布会上多维表和低代码平台原型分析

prompt engineer 工程师的一天 ,竞品分析相关。 “作为企业软件咨询公司整理出uipath,salesforce,airtable,zapier的官网地址&#xff0c;功能点详情&#xff0c;优势&#xff0c;劣势 生成表格4*4&#xff0c;表头为:uipath,salesforce,airtable,zapier, 第一例为&…

Nvidia股价反弹,博雅分析师力挺“行业首选”

在周四的交易中&#xff0c;Nvidia&#xff08;NVDA&#xff09;股价成功收复部分失地&#xff0c;上涨1%&#xff0c;这一积极走势得益于博雅全球研究公司&#xff08;美国银行全球研究&#xff09;发布的一份看涨报告。博雅分析师重申了对Nvidia的“行业首选”评级&#xff0…

『功能项目』Unity本地数据库读取进入游戏【29】

本章项目成果展示 打开上一篇28Unity连接读取本地数据库的项目&#xff0c; 本章要做的事情是通过读取本地数据库登录进入游戏场景 首先创建一个脚本文件夹&#xff1a; 新建脚本&#xff1a;MySqlAccess.cs 编写脚本&#xff1a;MySqlAccess.cs using UnityEngine; using MyS…

自定义v-model的两种形式

1 使用update &#xff08;1&#xff09;在组件中使用v-model"value" &#xff08;2&#xff09;props中接收modelValue &#xff08;3&#xff09;然后在value值发生变化的时候&#xff1a;this.$emit("update:modelValue", this.value); &#xff08;4&…

【压力测试】如何确定系统最大并发用户数?

一、明确测试目的与了解需求 明确测试目的&#xff1a;首先需要明确测试的目的&#xff0c;即为什么要确定系统的最大并发用户数。这通常与业务需求、系统预期的最大用户负载以及系统的稳定性要求相关。 了解业务需求&#xff1a;深入了解系统的业务特性&#xff0c;包括用户行…

大语言模型(LLM)如何更好地继续预训练(Continue PreTraining)

预训练&#xff08;Pretraining&#xff09;是一个非常消耗资源的工作&#xff0c;尤其在 LLM 时代。随着LLama2的开源&#xff0c;越来越多人都开始尝试在这个强大的英文基座模型上进行中文增强。但&#xff0c;我们如何才能保证模型在既学到「中文知识」的情况下&#xff0c;…

这本PyTorch官方出品的《Deep Learning With PyTorch》终于有了中文版!

导读&#xff1a; 一些线上或线下的关于PyTorch的课程和大学里的计划课程&#xff0c;以及大量的线上博客和教程&#xff0c;使得PyTorch学习起来更容易。然而&#xff0c;关于PyTorch的图书很少。随着本书的出版&#xff0c;我们最终有了一本关于PyTorch的官方权威著作。 它非…

下载适用于 Linux 的 MongoDB Shell教程

下载适用于 Linux 的 MongoDB Shell教程 下载地址 MongoDB Shell Download | MongoDB 2、往下拉&#xff0c;选择Linux对应的版本下载

怎么快速入门大模型技术——AI大模型学习方法

“ 师父领进门&#xff0c;修行在个人 ” 有两个成语&#xff0c;一个是事半功倍&#xff0c;一个是事倍功半&#xff1b;为什么会有这种情况&#xff1f;‍‍‍‍‍‍‍ 原因就是方式方法的问题&#xff0c;有些人掌握了正确的方法就会觉得做什么事都顺风顺水&#xff0c;事…