通过AWS Bedrock探索 Claude 的虚拟桌面魔力：让 AI 代替你动手完成任务！

news2024/11/28 22:53:03

前言

大家好，昨夜Anthropic 发布了更新。现在 Claude 3.5 Sonnet（V2）和 Claude 3.5 Haiku，以及名为 computer use 的新功能已经作为公开测试版发布了。

Introducing computer use, a new Claude 3.5 Sonnet, and Claude 3.5 Haiku \ AnthropicA refreshed, more powerful Claude 3.5 Sonnet, Claude 3.5 Haiku, and a new experimental AI capability: computer use.https://www.anthropic.com/news/3-5-models-and-computer-use关于新模型，我打算稍后进行验证。这次更新给我带来最大震撼的是 computer use操作电脑完成复杂任务的能力。AWS的bedrock上已同步更新。让我们看看 computer use都能做些什么吧！

什么是 Computer Use？

简单来说，Computer Use 是一种通过 Claude 操作虚拟桌面环境来完成特定任务的功能。你只需通过提示词（prompt）告知任务内容，Claude 就会模拟人类的操作来解决问题。比如，它可以操控浏览器、编辑电子表格等，像是一个“虚拟助理”代替你操作电脑。这种体验让人仿佛拥有了一个自动化的助手来完成日常工作。

模型启用步骤

在开始使用前，需要在 Amazon Bedrock 上启用模型。以下是操作步骤：

切换区域到俄勒冈州后进入 Amazon Bedrock 控制台，。
导航到 [模型访问]（Model Access）。
在列表中找到 Claude 3.5 Sonnet v2。
点击提交按钮，完成模型的激活。

目前，Claude 3.5 Sonnet v2 仅在俄勒冈区域可用。

尝试使用 computer use

在以下的代码库中提供了 QuickStarts，我们将使用 Bedrock 进行尝试。

anthropic-quickstarts/computer-use-demo at main · anthropics/anthropic-quickstarts · GitHubA collection of projects designed to help developers quickly get started with building deployable applications using the Anthropic API - anthropic-quickstarts/computer-use-demo at main · anthropics/anthropic-quickstartshttps://github.com/anthropics/anthropic-quickstarts/tree/main/computer-use-demo

首先进行一些准备工作。

# 克隆代码库
git clone https://github.com/anthropics/anthropic-quickstarts

# 切换目录
cd anthropic-quickstarts/
cd computer-use-demo/

# 配置 AWS CLI
# 使用通过 aws configure 配置的个人资料
export AWS_PROFILE=<指定要使用的个人资料>

如果你不知道 AWS_PROFILE如何创建。可以参考下面步骤。

1导航到IAM >用户>你使用的用户下创建访问密钥

2选择AWS之外运行的应用程序，下一步

3标签为可选性，可根据自己意愿决定是否填写。（建议填写方便管理）

4.记录好自己的密钥。后面的设置需要用到。

5.命令行执行如下命令创建PROFILE

aws configure --profile <your_profile_name>

6.输入刚刚生成的内容完成profile创建

完成上面的步骤后，我们就可以启动Docker了

docker run \
    -e API_PROVIDER=bedrock \
    -e AWS_PROFILE=$AWS_PROFILE \
    -e AWS_REGION=us-west-2 \
    -v $HOME/.aws/credentials:/home/computeruse/.aws/credentials \
    -v $HOME/.anthropic:/home/computeruse/.anthropic \
    -p 5900:5900 \
    -p 8501:8501 \
    -p 6080:6080 \
    -p 8080:8080 \
    -it ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest

一旦成功运行后，访问 http://localhost:8080，你会看到一个带有虚拟浏览器和聊天界面的 UI。这种界面通常用于模拟交互环境，让用户可以通过 Claude 等模型直接与虚拟桌面进行交互，例如自动化操作浏览器或处理文件。

通过在这个 聊天 UI 中输入一个简单的提示，比如 “google查询东京天气，记录下周最高，最低气温，天气。查询结果记录在excel里。”

Claude 能够在执行任务时识别当前桌面状态，并基于这些信息决定如何完成任务。它似乎能够以像素级别感知桌面环境，从而更精确地理解当前界面和内容的状态。此外，它通过类似 Tool use 的方式，发出点击、鼠标移动等指令，以模拟用户的操作。这种能力使得 Claude 可以像人类一样操作虚拟桌面，完成复杂的任务。