Coze是字节跳动推出的一个AI聊天机器人和应用程序编辑开发平台，可以理解为字节跳动版的GPTs。无论用户是否有编程经验，都可以通过该平台快速创建各种类型的聊天机器人、智能体、AI应用，并将其部署在社交平台和即时聊天应用程序中，如Discord、WhatsApp、Twitter、飞书、微信公众号和豆包等。

coze主页

该平台提供了一套上层业务构建入口，降低了大模型复杂的使用门槛，其中包括【Bots】、【插件】和【个人空间】三大模块。知识库功能用于管理和存储数据，支持Bot与用户自己的数据进行交互，用户可以将本地文件、在线网页内容以及API JSON数据上传至知识库，以便 Bot 使用这些内容回答问题。

需要注意的是，Coze国际版（coze.com）提供的是基于OpenAl GPT4和GPT-3.5
的API来创建AI聊天机器人
而国内版本（coze.cn）有一个中文名字“扣子”，使用的是字节自研的云雀大模型。

登陆到Coze国际版界面，只需要点击“create bot”即可创建一个免费的聊天机器人。添加bot的信息，点击确认即可。

创建机器人

进入聊天机器人界面，在模型选择下拉栏可以看到coze支持的模型，而OpenAI发布的ChatGPT，GPT-4以及OpenAI刚刚发布不久的GPT-4o都可以使用。

模型选择

GPT-4o模型

GPT-4o（“o”代表“omni”）它接受文本、音频和图像的任意组合作为输入，并生成文本、音频和图像的任意组合输出。模型更加智能，且输入输出方式更加自然，符合人类的交互需求。它可以在短短 232 毫秒内响应音频输入，平均为 320 毫秒，这与人类在对话中的响应时间相似，完全可以跟模型进行实时聊天了。强大的模型造就了GPT-4o模型的文本理解能力，与GPT4, claude 3以及 Gemini与llama3对比，其文本理解能力超过了其他模型。

GPT-4o模型文本理解能力对比

借助 GPT-4o，OpenAi在文本、视觉和音频上端到端地训练了一个新模型，这意味着所有输入和输出都由同一个神经网络处理。在 GPT-4o 之前，可以使用语音模式与 ChatGPT 交谈，平均延迟为 2.8 秒（GPT-3.5）和 5.4 秒（GPT-4）。主要原因是语音模式是一个由三个独立模型组成的系统：一个简单的语音模型将音频转录为文本，GPT-3.5 或 GPT-4 接收文本并输出文本，第三个语音模型再将该文本转换回音频。这个过程不仅要使用3个模型，浪费时间，而模型之间并没有交互动作，每个模型完成自己的任务。不仅在交互中会丢失信息，更没聊天的情感。其语音理解以及语音翻译上，也是超越了其他大的模型。在语音翻译上面，其错误率远远超越了OpenAI发布的whisper模型

GPT-4o语音翻译能力对比

而GPT-4o模型不仅支持文本，图片，语音外，还支持视频输入，真正做到了多模态的大模型，其视频处理能力也是超越了其他大模型。

GPT-4o模型视频处理能力

GPT-4o模型的发布让很多人为之兴奋，而使用GPT-4o模型，并不是官方说的可以直接在ChatGPT上面使用，而是开放给了plus用户。普通用户也只能使用ChatGPT，也就是GPT-3.5模型。而官方演示的音频视频对话，仅仅体验用户能够使用，并未完全开放给所有人。

Coze使用GPT-4o模型

而coze开放了GPT-4o模型的使用，任何人都可以在coze平台上搭建属于自己的GPT-4o模型。选择完模型后，就可以直接

使用gpt-4o模型

只需要在聊天界面对话框中，输入对应的文本与图片，就可以愉快的跟GPT-4o模型聊天了。而针对音频视频文件，GPT-4o模型并未开放给所有人，但是可以体验文本与图片理解能力。

音频文件

虽然GPT-4o模型无法识别音频与视频文件，可以使用第三方插件来识别音频或者视频文件。当然coze也开放了插件功能，平台内置了很大可以用的第三方插件，比如OpenAI的画图模型DALLE3，此模型在OpenAI官网都是付费的模型，而在coze平台可以免费使用。

coze插件

当然coze也支持API调用的方式，可以使用API接口，打造自己的个性聊天机器人，而使用API接口需要在coze平台购买token数量。然后直接调用相关的API接口即可，官方提供了详细的API接口使用说明，可以很快入手。

API

curl --location --request POST 'https://api.coze.com/open_api/v2/chat' --header 'Authorization: Bearer {YOUR PERSONAL_ACCESS_TOKEN}' --header 'Content-Type: application/json' --header 'Accept: */*' --header 'Host: api.coze.com' --header 'Connection: keep-alive' --data-raw '{
    "conversation_id": "123",
    "bot_id": "{YOUR BOT}",
    "user": "29032201862555",
    "query": "hello",
    "stream": false
}'


更多transformer，VIT，swin tranformer
参考头条号：人工智能研究所
v号：启示AI科技

 动画详解transformer  在线教程