如何搭建一个实时对话转录应用(类似zoom中的文本转录功能)并部署到 Heroku

news2024/9/27 15:35:08

文章目录

  • 应用搭建
    • Assembly AI
    • 文件夹结构
    • 前端搭建
      • HTML
      • index.js
    • 后端搭建
      • server.js
      • package.json
  • Heroku 部署
    • 创建账号
    • 创建Heroku应用
    • 上传仓库

应用搭建

  • 应用基于 html + javascript
  • 使用的第三方 API 是 Assembly AI 提供的
    在这里插入图片描述

Assembly AI

  • 要使用 real-time transcript 功能,需要首先注册一个 Assembly AI 的 pro 套餐,
  • 我默认存在里面 $5 作为我玩这个应用的费用
    在这里插入图片描述
  • 后面就是把这个 token 放到 server.jsauthorization 里面

文件夹结构

.
├── README.md
├── package-lock.json
├── package.json
├── public
│   ├── css
│   ├── index.html
│   └── js
└── server.js

3 directories, 5 files
  • 本代码基于 Assembly AI 官方推荐的基于 javascript 的代码,但是为了部署做了一些细节的调整,大家可以直接拿我的 源码 进行修改
  • 尽量将所有的静态资源统一放在 public 文件夹下面

前端搭建

HTML

在这里插入图片描述

  • 前端基于原生的 HTML 文件,需要注意的就是我在原代码的基础上增加了一个 <div> “all_text” 方便在每次一个人发言完成后,下一次发言另起一段,这样如果有多个人一起交流,就可以按照先后顺序进行显示,而源码中只是将一个人所有的发言放在一个段落 <p id="message"> 里面。

index.js

在这里插入图片描述

  • 一开始我们通过 CSS 选择器来定位这几个 dom 对象,方便后面针对不同的 dom 进行操作
  • 整体上来看,我们将一个 click 事件绑定在 button 上,当这个 click 发生的时候我们会启动 run 这个异步函数
    在这里插入图片描述
  • run 中的主要代码逻辑在 26 行的 else 开始,这里如果不进行 Heroku 部署,那么相当于你将自己的 localhost 作为服务器,并且分配了一个端口(在我的程序中我是用了 30001 端口)并且分配了一个endpoint 也就是 /token 来指定访问后端的 token 端点来请求服务,这个服务后面我们需要结合后端的代码一起说。这里你只需要有个大致的理解,要想使用 Assembly AI 的 transcript 这个功能,我们需要一个 token 向 Assembly AI 证明自己的身份,因此当前端点击 record 按键的时候,它就要求后端去向 Assembly AI 请求这个 token
  • response 的结果就是这个 token
  • 因此,前端再拿这个 token 直接与 Assembly AI 的服务器建立 Websocket 连接,注意这个只是点很重要,因为我们通常使用的都是 http 连接,但是 http 连接的问题在于它每次请求一组数据,每次请求完毕就会断掉连接,但是进行 transcript 是一个持续的过程,因此我们不能让连接断掉,所以使用 websocket 建立连接
  • 如果后面需要部署 Heroku 的话,请求 token 的端点就要改成你自己部署的 Heroku 服务的 token 端点了
  • 通过 Websocket 得到相应的 transcript 数据之后就按部就班地显示在前端就可以了

在这里插入图片描述

  • 这里的 res 就是 Assembly AI 的 API 返回的数据,每条数据都会有一些属性(建议自己 debug 一下看看),其中 message_type 可以表明当前这句话是不是发言者结束发言的句子,如果是,我在这里让下一次识别的结果在一个新起的段落中显示。

后端搭建

server.js

在这里插入图片描述
需要注意:

  • 设定静态的文件夹,这个对于 Heroku 非常重要,如果不在这里指定,那么在 Heroku 部署之后不会显示前端的页面
  • authorization: 后面的东西需要你注册一个 Assembly AI 的 pro 套餐才能使用,他会给你一个 key,你拿到这个 key 才能向 Assembly AI 的后台申请到 token 用于文本转录
  • port 的指定,如果在本地的话,你可以直接写成任意端口,但是在 Heroku 的部署过程中,它需要给你实时分配端口,因此写成 process.env.PORT || 30001 ,这个意思就是,如果服务器部署的时候 30001 端口可用就用,不可用就自动分配一个
  • server.js 本质上只做了一件事情,就是通过 key 向 Assembly AI 后台请求一个 token 并且返回给前端

package.json

最后是 package.json 文件
在这里插入图片描述

  • 如果进行 Heroku 部署,则部署成功之后,Heroku 会默认通过 npm start 来启用应用程序,而在作者原本提供的代码中是没有这个 start 命令的,因此我们在这里定义 start 命令为开启 server.js 应用

Heroku 部署

  • 注意在使用 Heroku 期间尽量不要使用 VPN,因为它会检测你的地址问题,如果不匹配,它会报错,当然这是个概率事件,因此我建议关闭 VPN

创建账号

https://id.heroku.com/login
在这里插入图片描述

  • 现在 Heroku 登录增加了很多安全验证,比如用手机或者 ipad 等设备来创建安全命令,不过不用担心,照做即可

创建Heroku应用

在这里插入图片描述

在这里插入图片描述

  • 在第一次使用这个步骤的时候,应该还需要让你绑定一个银行卡,方便后续扣款,这个大家自己根据情况设置

上传仓库

  • 假设我创建的应用叫做 transcrpit-demo2
  • 按照这个步骤,在你本地的文件夹操作即可
    在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/709610.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

ChatGPT:为教育创新提供五大机遇

随着智能技术的不断发展&#xff0c;ChatGPT在教育场景中的创新价值可能比我们能够意识到的还要多。比如它可以自动处理作业、在线答疑&#xff0c;可以辅助语言学习、实时沟通&#xff0c;甚至还可以用于评估诊断、科学研究。国内外关于利用ChatGPT实现教育创新的场景描绘已经…

【Matplotlib】多级雷达图绘制

一、实例1&#xff1a;个人能力画像雷达图 # -*- coding: utf-8 -*- """ Created on Sat Jul 1 20:52:54 2023author: zcq """import numpy as np import matplotlib.pyplot as plt import matplotlibmatplotlib.rcParams[font.family]SimHei …

灯夹三角架

2个卡箍1个无头螺丝拼1个灯夹 还需要1个三脚架固定 difference(){union(){translate([18,-7,0])cube([14,14,1]);translate([-7,18,40])cube([14,14,1]);translate([-7,-32,40])cube([14,14,1]);points [[7,-32,40], //0[18,-7,0], //1[18,7,0], //2[7,-18,40], //3[7,…

【C++面向对象】足球比赛数据统计系统(面向对象练习)

&#x1f449;博__主&#x1f448;&#xff1a;米码收割机 &#x1f449;技__能&#x1f448;&#xff1a;C/Python语言 &#x1f449;公众号&#x1f448;&#xff1a;测试开发自动化 &#x1f449;荣__誉&#x1f448;&#xff1a;阿里云博客专家博主、51CTO技术博主 &#x…

【IoT】硬件产品经理:从入门到精通(卫朋)

目录 介绍 出版过程 CSDN学院 下单方式 个人介绍 介绍 2023 年已经过去了一半。 作为阶段小目标&#xff0c;这本书也如期发布了。 先来看看封面&#xff0c;这里也要感谢编辑们的辛苦付出。 ​ 出版过程 出版本身其实是一件比较严肃的事情。 过去的一年多时间&#…

进程的基本概念解读

目录 什么是进程 PCB OS中用于管理控制的数据结构 进程控制块PCB的作用 进程控制块中的信息 前趋图 背景 作用 表示 示例 程序的顺序执行 程序顺序执行的特征 程序的并发执行 程序的并发执行的特征 例题解读 进程的三种基本状态 进程的三种状态之间的转换 进…

linux下RabbitMQ的使用

文章目录 linux下RabbitMQ的使用首先docker启动网页打开网址&#xff1a;用户名和密码登录创建exchanges:创建Queues增加Queues的Bind linux下RabbitMQ的使用 首先docker启动 su rootsudo docker run -d --hostname rabbitsvr --name rabbit -p 5672:5672 -p 15672:15672 -p …

Uniform的理解

Uniform&#xff1a;一种从Cpu的应用&#xff0c;向Gpu中的着色器发送数据的方式&#xff0c;它是全局的&#xff0c;可以被任意着色器程序在任意阶段访问。 若声明了一个Uniform却没用过&#xff0c;编译器会默认移除这个变量&#xff0c;导致编译出的版本并不包含它&#xff…

配置本地的application-dev.yml读取nacos上面的配置

我想配置本地的application-dev.yml读取nacos上面的配置&#xff0c;我应该在配置文件里怎么写&#xff1f;并且在nacos里怎么建立 在本地的application-dev.yml文件中&#xff0c;您可以使用Spring Cloud Nacos来读取Nacos上的配置。以下是在配置文件和Nacos中设置的步骤&…

servlet+JSP与SpringBoot+Vue项目交互——servlet访问Vue页面

问题 servletJSP与SpringBootVue项目交互——servlet访问Vue页面 详细问题 笔者前一段时间开发一个项目&#xff0c;使用的技术框架是servletJSP&#xff0c;现阶段开发的项目技术框架为SpringBootVue&#xff0c;笔者现在需要输入servletJSP的路由地址&#xff08;登录页面…

3DTiles Next研究

3DTiles Next是Cesium发布的下一代3DTiles规范。 元数据 在这一代规范中&#xff0c;更重视元数据&#xff08;metadata&#xff0c;如建筑物ID或者类型等&#xff09;&#xff0c;通过这些元数据可以对3dtiles进行样式调整或者过滤显示。 关于详细的元数据规范介绍看这里。 …

Spark SQL生产优化经验--任务参数配置模版

大表扫描 特殊case说明&#xff1a;当任务存在扫event_log表时需注意&#xff0c;若对event_log表进行了过滤&#xff0c;且过滤比很高&#xff0c;如下图的case&#xff0c;input为74T&#xff0c;但shuffle write仅为3.5G&#xff0c;那么建议提高单partition的读取数据量&a…

Redis数据库高可用之RDB和AOF持久化

Redis数据库高可用、RDB和AOF持久化、性能管理 一、Redis 高可用二、Redis 持久化Ⅰ、持久化的功能Ⅱ、两种持久化方式Ⅲ、RDB 和 AOF 的区别 三、RDB 持久化Ⅰ、触发条件Ⅱ、执行流程 四、AOF持久化Ⅰ、开启AOFⅡ、执行流程 五、RDB 和 AOF 的优缺点Ⅰ、RDB 持久化Ⅱ、AOF 持久…

金鹰优化算法,附MATLAB代码,直接复制

金鹰优化算法&#xff08;golden eagle optimizer, GEO&#xff09;是于2020年提出的新型智能优化算法&#xff0c;该算法建立于金鹰个体 捕食过程中的巡航和攻击行为之上&#xff0c;通过平衡两者关系&#xff0c;帮助函数寻找最优值&#xff0c;已经在许多方面得到了应用。 关…

Google 将为高端 Chromebook 推出独立品牌

说起 Chromebook&#xff0c;一般大家的第一印象就是价格便宜、配置不高、做工普通&#xff0c;所选的材料也都是以塑料为主&#xff0c;产品主打的市场也是学生和教育群体。在不少人看来&#xff0c;Chromebook 就是一个配备了功能齐全的浏览器&#xff0c;外加一定的文件管理…

GOLANG进阶:Viper,Mysql,Swagger

GOLANG从浅入深必须学习的一些工具包 1.Viper&#xff1a; Viper 是一个完整的 Go 应用程序配置解决方案&#xff0c;优势就在于开发项目中你不必去操心配置文件的格式而是让你腾出手来专注于项目的开发。其特性如下&#xff1a; 支持 JSON/TOML/YAML/HCL/envfile/Java proper…

数据结构--栈在函数递归中的调用

数据结构–栈在函数递归中的调用 void func2(int x) {int n, m;//... }void func1(int a, int b) {int x;//...func2(x);x 5201314;//... }int main() {int a, b, c;//...func1(a, b);//... }函数调用的特点:最后被调用的函数最先执行结束(LIFO) 函数调用时&#xff0c;需要用…

【人工智能与机器学习】基于卷积神经网络CNN的猫狗识别

文章目录 1 引言2 卷积神经网络概述2.1 卷积神经网络的背景介绍2.2 CNN的网络结构2.2.1 卷积层2.2.2 激活函数2.2.3 池化层2.2.4 全连接层 2.3 CNN的训练过程图解2.4 CNN的基本特征2.4.1 局部感知&#xff08;Local Connectivity&#xff09;2.4.2 参数共享(Parameter Sharing)…

顶点数据加入颜色数据

顶点着色器代码&#xff1a; #version 330 core layout(location 0) in vec3 aPos; layout(location 1) in vec3 aColor; out vec3 ourColor; void main(){gl_Position vec4(aPos.x, aPos.y, aPos.z, 1.0f);ourColoraColor; }片段着色器代码&#xff1a; #version 330 cor…

11-切片有什么用?【视频版】

目录 问题视频解答 问题 视频解答 点击观看&#xff1a; 11-切片有什么用&#xff1f;