Anthropic 发布了 Claude 史上最大更新:它现在能操控你的整个电脑,还能通过手机短信远程指挥它干活。不过,这个“电脑操控”功能目前还不够完善。
👤 WHO: Brock Mesarich(AI for Non Techies 频道主)为你深扒 Claude 的最新超能力。
🎯 WHAT: 全新推出 电脑操控 功能,Claude 能替你点鼠标、敲键盘;新增 派遣 模式,你从手机发条短信,它就能帮你完成桌面工作。
⏰ WHEN: 这个更新刚刚发布,Max 用户可立刻享用,Pro 用户也会逐步上线。
🌐 WHERE: 适用于你的 桌面电脑(Windows/Mac),并通过 手机短信 实现远程遥控。
❓ WHY: 这是 Anthropic 有史以来最大的更新之一,预示着 AI 从“聊天助手”向 超级智能体 的跨越,影响你未来的工作方式。
🔧 HOW: Claude 通过 截图 观察你的屏幕,然后自动 分析、决定、执行,循环完成操作。直接代你上手物理 桌面应用,告别只读文件夹的老功能。
💡 SO WHAT: 普通用户可以“撒手”远程办公(比如健身时让 Claude 帮你传文件),但目前这个功能 还不够完善,离真正实用还有距离,但它是通往 超级智能体 的关键一步。
“说实话,我简直急得睡不着觉,因为你们每分每秒都在发布新内容。相信你们应该能感同身受。” —— Brock Mesarich
“它确实是 Claude 打造一款能处理几乎所有任务的超级智能体的关键一步。” —— Brock Mesarich
Anthropic刚刚推出了迄今为止最大的产品更新之一。现在,Claude可以控制你的整个电脑。它能打开应用、移动鼠标、在键盘上打字。你在桌前能做的任何事情,Claude现在都能替你完成,甚至你本人都无需在场。他们新增的“派遣”功能,让你可以从手机发短信给Claude分配任务,然后走开,回来时桌面上的工作已经完成。所以,在这期视频中,我将详细解析电脑操控功能如何运作,“派遣”如何将你的手机变成桌面的遥控器,以及你在启用这项功能前必须知道的一个重大限制。那么,我们开始吧。首先,Anthropic,你们这些更新发布真是让我应接不暇。
说实话,我简直急得睡不着觉,因为你们每分每秒都在发布新内容。相信你们应该能感同身受。这期视频的核心就是解析这个全新的Claude计算机操作功能——它是否值得你关注,以及我将现场演示它的运作方式。当我打开推特刷新这条帖子时,可以看到Claude发布的这条内容已经彻底爆火。浏览量突破1150万,而这条帖子才发布没多久,简直不可思议。现在让我们回归正题,聊聊Claude计算机操作功能到底带来了哪些革新。
以前,像Claude Co-work这样的工具,虽然能浏览并连接我们的不同应用程序,但无法真正操作我们的物理桌面。它确实能访问我们的文件夹,却无法使用电脑上安装的实体应用程序。所以,这个功能的基本原理是:Claude会对你的电脑进行截图,判断下一步操作,点击某个元素,然后重复这一过程。简而言之,Claude会观察你的屏幕,分析接下来该做什么,并实际执行这个任务。
所以,它可以像这样在你的屏幕上移动鼠标,点击需要的位置,还能在各种应用程序中输入文字,从而帮你填写特定表格、打开电脑上的不同应用、切换窗口,甚至浏览菜单。除此之外,它还能浏览网页、填写表单,并为你滚动浏览特定页面。我知道你现在可能想问:"布洛克,这东西安全吗?" 那么,让我快速解释一下新的计算机使用功能背后的权限设置。你可以为你电脑上使用的每一个应用程序设定规则。
因此,你可以赋予 Claude 完全控制权,使其能够在该应用内自由读取、写入、点击和导航;也可以仅授予查看权限;或者,如果你不希望 Claude 跨应用执行任务,还可以完全屏蔽某个应用。简而言之,其运作方式是:系统会优先尝试使用你在 Claude 中预先配置好的已连接应用。无论你使用的是 MCP 这类工具,还是 Claude 内可连接的原生应用,系统都会优先调用它们;而你的屏幕则作为备用方案。因此,如果它无法实际访问你电脑上的某个特定文件夹,便会转而使用电脑操作功能。
那么,这里需要快速说明的一个关键点是,这个功能运行在Claude桌面应用特定沙盒环境之外。举个例子,如果我打开手边的Claude协作工具,可以看到我能访问这些不同的文件。当我选中这个文件时,它只能访问该文件。而Claude的电脑使用功能现在可以脱离沙盒限制,直接操控你的整个电脑。配合几天前我在YouTube频道介绍过的新发布的调度模式,你现在可以直接通过手机应用给Claude发消息,它就能在你的实体电脑上为你执行任务。
在计算机使用中,一个关键点是Claude能判断你需要完成什么类型的工作,并选择合适的环境来执行。例如,如果你交给它一项知识型工作任务,它会启动一个Claude协作会话。但如果是具体的开发工作,它会启动Claude code,编写代码、运行测试,并利用该环境。接下来,在我现场演示其具体运作方式之前,我们先聊聊定价、使用权限以及几个核心功能。目前该功能仅支持Mac OS系统,因此你必须使用Apple电脑。要使用计算机操作功能,你需要订阅Pro或Max版本。
截至本视频发布时,该功能仅对Max订阅用户开放,但我推测他们将在未来几天内向Pro用户逐步推出。要充分利用此功能,通过手机使用调度模式进行调用,你需要同时安装桌面端和移动端应用。这里有个关键点:你的电脑必须保持唤醒状态,且桌面应用需持续运行。如果电脑关机,该功能将无法运作。需要特别注意的是,这仍处于研究预览阶段。因此,复杂任务可能需要二次尝试,或可能无法完成,且某些操作的处理速度可能会相当缓慢。好了,现在让我们来实际测试一下。
那么,首先你需要下载Claude桌面应用,如果还没下载的话。在你问我“布洛克,我在Claude桌面应用里找不到它”之前,我强烈建议你删除它,重新下载,这样它应该就会出现在你的应用里了。对于Anthropic之前发布的一些版本,我甚至需要下载三四次才能显示出来,但通常最终都会成功。现在,下载完成后,我打开它。接下来,我会进入我的账户,然后点击设置,在这里我们要开启这个功能。
现在我要进入常规设置,从这里我们将看到浏览器使用功能——这个我们之前已经接触过,但接下来要介绍的是"计算机使用"功能。这里写着:"让Claude在您允许的应用中截取屏幕截图并控制您的键盘和鼠标。" 我接下来要做的就是开启这个开关。显然,您需要仔细评估是否真的要让Claude获得在您电脑上执行操作的权限。所以请先仔细阅读相关文档,确认一切无误后再开启此功能。我现在要开启它,之后我们可以根据需要添加特定的禁止应用。如果您确实不希望Claude访问某些内容,强烈建议您在此处进行添加。
所以,如果我点击这里,就能看到手机上安装的每一个应用程序,天哪,这应用也太多了,真疯狂。总之,如果我不想让它访问Amy,只需点击这里,就这么简单。它就不再能跨Amy执行任务了。接下来是辅助功能。我们需要打开系统设置,真正允许Claude去执行这些操作。所以我得输入密码并进行配置,这样Claude才能执行这些任务。好了,现在我要切换到调度模式。如果你不了解调度模式,它本质上就是通过手机控制电脑的方式。
那么,我来打开这个界面,如你所见,这里就是操作面板。我先开启“保持唤醒”功能,这样电脑就不会休眠,同时允许所有浏览器操作。注意看底部,我输入了这样的指令:到我的桌面上找到这个视频,然后把它添加到当前打开的CapCut项目里。我特别注明要使用桌面版应用,而不是浏览器版本,并且明确指定了桌面上那个视频的具体名称。现在我把这个界面调出来——双击这个文件,就能看到这个视频,它其实是本视频前半部分的屏幕录制。假设我想把它导入CapCut,这样就能在这里进行视频剪辑了。
我只需要点击发送,它就会自动开始执行任务。我想说明的是,我显然也可以用手机触发这个操作,效果完全一样。但我想在电脑上演示,因为屏幕更大,你们看得更清楚。现在可以看到,屏幕上弹出两个不同的应用请求,询问是否允许访问CapCut和访达。这个按钮似乎有点发暗,有点奇怪。不过我会点击"允许"。不知道你们能否看到,我的屏幕边缘出现了一个橙色光圈。这实际上意味着Claude电脑操作功能正在运行中。我没有碰键盘,它已经自动打开了CapCut,就像你们现在看到的这样。
再看这个调度界面,它似乎在后台执行一些操作。具体在做什么我也不太确定。先让它继续运行,看看能否找到我电脑里那个特定文件——就是我正在屏幕上拖动的这个文件。现在它调出了搜索窗口,正在遍历我所有的文件目录。注意这个窗口不是我手动打开的,是它自动点击触发的。说实话目前速度有点慢,按理说我已经提供了视频的具体文件名,应该很快就能定位到,但现在看来还需要些时间。
现在,它选中了那个视频,然后你看屏幕上,它直接把视频添加到了项目中。这挺酷的,不过确实花了不少时间。理想情况下,我希望它能做到这一点。实际上,让我演示一下。我希望它能直接在屏幕上完成这个操作,这样我就能把它放到时间线上,但说实话,我不认为它足够智能到能理解这个。回到Pod Dispatcher,它显示已完成。协同工作的电脑使用视频现已导入CapCut,显示在媒体面板中并正在预览。准备好后,将其拖入时间线。好了,我们再给它一个任务。我打算让它试着找到我藏在桌面上的一个收据。
那么,我们来看看它是否真的能做到这一点,并为我们调出文件。嘿,我希望你去我的桌面上找一张发票,文件名叫“50M invoice”。找到它,调出来,并为我解析一下。现在,我们把任务交给它,看看它能否独立完成。在视频结尾,我会详细分享我对这项新功能的真实看法。它正在询问是否允许访问桌面,我可以点击“详情”查看具体操作。直接点击“允许”吧。好了,它已经解析了这张特定发票。让我把发票调出来对照一下——当然,这是一张模拟发票。上面写着“Meserole Enterprises LLC”,收款方是“Silicon Valley Unicorn Corporation”,金额为5000万美元。
所以,它实际上在我的桌面上找到了这张特定的发票,并在这里调出了它的详细信息。好吧,也许你看到这里会想:“Brock,我并不想完全让Claude访问我的整个电脑。” 那么,有几种方法可以让Claude为你服务,而不必给它完整的电脑使用权限。我现在想讨论的是连接器。这基本上就是我们如何将Claude直接接入你使用的应用程序,无论是Gmail、Google日历、Google云端硬盘、Asana,还是我们使用的所有这些不同的应用程序,我们实际上都可以进行配置。
你可以这样理解:连接器直接通过我们接入的应用来运作,而计算机使用则是绕过这些应用。如果你想在Claude或Claude协作平台中开始使用连接器,只需点击"自定义"选项。接着进入连接器界面,这里有许多不同的应用程序,我们可以授权访问它们,这样Claude就能自动为我们执行任务了。
所以,如果你有想要连接的特定应用,直接在这里搜索就行。如果连不上,也不一定非得用电脑操作,因为我会教你另一个技巧,能让你连接比Claude内置的更多应用——毕竟Claude里配置好的应用其实不多。我个人用的是叫Zapier MCP的工具。到现在为止,我已经用Zapier好几年了。以前我把它当自动化平台用,但现在主要用它来连接Claude。具体操作是:点击"开始构建",如果没有账号就注册一个,再按几个简单步骤,就能把不同应用连接到这里了。
首先,我要点击新建MCP服务器。然后进入Claude协作空间,接下来要做的就是添加需要授权访问的不同应用。让我搜索一下。假设我想连接学校系统,可以点击这个选项,然后逐一选择Claude能执行的每个操作。我直接勾选全部工具,点击连接,添加这两个工具,这样这个应用中的几个不同操作就成功连接到服务器了。我们可以根据需要添加任意数量的应用。比如在这里添加Slack,连接到这34个不同的操作,这样另一个应用就添加完成了。
现在当我们想要继续将其添加到协作中时,我需要点击连接按钮。接着我会复制它提供的URL,然后返回Claude。我会搜索Zapier,然后在这里粘贴刚才获取的URL,这样就能连接到我们添加到MCP服务器的所有应用了。好的,现在来谈谈我对这个全新Claude电脑使用功能的真实看法。说实话,我觉得这还只是个早期测试版产品。这个产品的创意确实很酷,但目前感觉功能还不够完善。有时我甚至质疑它的实用性,因为电脑使用功能会直接接管你的屏幕——毕竟这不是虚拟机。
所以,当Claude在使用电脑时,你未必能同时操作自己的电脑。不过,你可以利用调度功能,在离开工位时使用它——这确实是我会实际用到的功能。举个我会100%使用该功能的完美例子:假设我拍完视频开始下载,这时想去健身房。以前我必须等健身回来才能通过Google Drive把视频发给剪辑师,并附上具体说明。但现在,我只需在健身时用手机通过调度功能发条消息就能搞定。
我可以说:“嘿,我想让你找到这个文件夹里的所有视频,把它们上传到我的Google云端硬盘,然后给我的编辑发消息说视频已经准备好了。”这就是一个完美的使用场景,因为下载这些视频需要花不少时间。所以,与其我干等着下载完成再上传到Google云端硬盘,不如直接用手机发个指令让它自动完成。我猜你可能也有类似的小场景,这些功能或许很有价值,但至少目前来说,你大概不会每天都用到。不过,我必须说,Anthropic正在疯狂地推出各种产品。
如果你关注这个YouTube频道,我一直在努力覆盖所有新产品发布,感觉它们正开始融合成一个能处理几乎所有任务的超级智能体。我得说,这个功能目前还不是最惊艳的。虽然通过调度模式使用它确实有些实用性,但从长远来看,我认为这确实在为打造那个能实现惊人成就的超级智能体铺路——毕竟它在协作和协同工作方面已经能完成相当了不起的任务了。
各位朋友,如果这个视频对你有帮助,请点赞支持,订阅本频道获取更多内容。如果愿意的话,还可以加入我的学习社群,我会详细分享如何每天运用Claude来运营我的多个业务。说到这里,非常感谢各位坚持看到视频最后。祝大家生活愉快,我们下期再见。