探索ChatGPT背后的网络基础设施

news2025/1/17 6:11:15

ChatGPT是OpenAI公司开发的一款聊天机器人应用,自2022年11月推出以来以迅雷不及掩耳盗铃之势火爆全球。ChatGPT不仅可以模仿人类对话,还可以创建音乐、电视剧、童话故事和学生论文,甚至是编写和调试计算机程序。

截至2023年1月,ChatGPT的用户已超过1亿,成为迄今为止增长最快的消费级应用程序。全球海量用户的热情试用不仅让OpenAI公司的市场估值迅速飙升到290亿美元,但是也给后台服务的管理和维护带来了一些困扰。

有网友表示当问ChatGPT“中国足球如何才能捧起大力神杯”等问题时,ChatGPT的回答窗口一片空白。CNBC在2022年12月15日的报道中写道the service still goes down from time to time(服务时常中断)。难道ChatGPT也BUG?

基础认知

今天小编就拿出我们的谛听从网络性能及用户体验监控平台对ChatGPT来一个基础设施大摸底,来验证下ChatGPT的响应速度、性能如何,它又是如何满足全球大量用户同时使用的?

下面就谛听对ChatGPT相关产品提供对外访问服务的基础设施进行详细梳理,OpenAI目前提供的服务主要有以下四个:

  • 公司官网:

    https://openai.com

    提供OpenAI公司研究情况、相关产品、收费情况的介绍说明,并提供了API文档和相关产品的入口。

  • api服务:

    https://api.openai.com

    提供API访问服务

  • 服务平台:https://platform.openai.com

    提供用户登录、API文档说明、常用示例等功能

  • ChatGPT:

    https://chat.openai.com

    提供ChatGPT产品服务

我们首先使用查询一下openai的权威域名服务器:

$ nslookup -type=NS openai.com

Non-authoritative answer:

openai.com      nameserver = ns2-02.azure-dns.net.


openai.com      nameserver = ns3-02.azure-dns.org.


openai.com      nameserver = ns4-02.azure-dns.info.


openai.com      nameserver = ns1-02.azure-dns.com.

从名称上可以看出来它是由微软Azure云平台提供的DNS解析服务,然后我们使用IP定位服务对这四台域名解析服务器的IP进行定位,发现它们都属于AS8086自治系统,位于美国微软公司的云网络中。

接下来,我们在谛听系统中对OpenAI相关的服务进行监测:

ChatGPT监控

我们从位于全球各地的10个城市中对ChatGpt的服务页面进行访问,响应的服务器IP有两个104.18.2.161、104.18.3.161,它们同样属于Cloudflare公司,并且使用了Cloudflare提供的CDN加速服务。

网络层面上,从全球各地访问都是比较顺畅的,详情如下图所示:

 但是,在应用层面上,ChatGPT不仅会对访问者的IP进行限制,还会对用户的访问环境进行限制。在用户环境限制上,不允许使用自动化工具,比如Selenium进行访问,在IP限制方面,无法从中国大陆、中国香港、中国台湾以及俄罗斯等地区访问。访问界面如下所示:

 网站监控

我们在谛听系统中从全球12个不同的城市发起了对openai官网的监控,响应的服务器IP至少有8个,比如13.107.238.46、13.107.238.59。通过对这些IP进行定位,发现这些服务器都位于美国微软公司的Azure云网络中,另外在HTTP响应头中也带有X-Azure-Ref标识,这也说明了openai.com是通过Azure云平台来提供服务的,另外由于响应IP与请求位置有关,所以推测是使用了Azure中的CDN服务。

从探测机到openai.com服务器的路径图如下所示:

可以看到在网络层面上全球各地都可以访问OpenAI官网,但国内访问时延迟明显稍高,在70ms左右。另外下图说明了在Web服务层面上,全球各地也都是可以访问的。

API服务监控

我们同样从12个城市对OpenAI的api接口服务发起监测,响应的服务器IP只有一个52.152.96.252,它属于微软Azure云网络,位于美国圣安东尼奥市。猜测是由于API服务的用户量比较少,所以并没有部署CDN加速服务。

从全球各地的探测机到api服务器的丢包、时延、抖动如下图所示:

可以看到网络是比较稳定的,丢包很少。但从美国以外的国家访问时时延是比较高的,大概在150~200ms。

在接口服务层面上,在全球多个城市都可以正常调用。并没有限制访问。

平台监控

针对platform.openai.com服务,我们从全球12个城市的探测机发起监测,可以看到响应的服务器IP只有两个104.18.1.104 、104.18.0.104。对这两个IP进行定位查询,发现它们位于美国,属于Cloudflare公司,OpenAI在这里使用了Cloudflare提供的负载均衡功能。

在下图的网络路径中可以看到,从全球各地到Cloudflare中的服务器的时延都是比较低的(50ms以内),所以推测它可能使用了Cloudflare提供的CDN加速服务。

 

在web服务层面上,位于全球各地的探测机都可以正常访问platform.openai.com服务中的功能。

 

上层AS拓扑分析

在AS层面上,OpenAI相关服务主要位于微软的AS8075以及Cloudflare的AS13335。

AS8075中具有196个互联网交换点,IPv4前缀有349个,IPv6前缀有23个。BGP对等AS有386个,主要如下图所示:

 

相关AS拓扑图如下所示:

 

AS13335中具有285个互联网交换点,IPv4前缀1777个,IPv6前缀1355个,与其构成BGP Peer关系的AS共有1264个,相关AS的拓扑结构如下图所示:

 

通过谛听的检测结果可以看到OpenAI的ChatGpt服务目前主要是通过Cloudflare的CDN加速服务来向全球各地的用户提供访问服务的,不过,比较遗憾的是并没有对中国地区开放。其他的诸如官网和API等服务则通过微软的Azure云平台对外提供服务,并且使用Azure的DNS解析服务进行OpenAI的域名解析。通俗的讲,ChatGPT 的API响应速度相对比较稳定,丢包率低。

截至目前为止,关于ChatGPT中断的相关报道已经越来越少,这也说明ChatGPT在基础设施服务上做的越来越完善了。

随着微软加大对OpenAI的投资,微软作为OpenAI的主要股东及首选商业合作伙伴,并且拥有GTP-3的独家授权,未来Azure云平台可能会托管openai更多的相关产品和服务。此外,随着ChatGPT API的衍生产品越来越多,其API服务的负载也会越来越高,估计很快就会采用CDN提供全球加速服务。

所以ChatGPT 的空白和沉默很有可能是大家的提问过于离谱,于是它选择了此时无声胜有声。

 

但是对于ChatGPT 火爆最终还是回归到了AI是否会代替人类这个永恒不变的话题。以目前的情况来看,ChatGPT比起以往的AI确实是有一定的提升,只要问题描述精准,可以帮你写作文、做表、写诗等等。

只是现实往往比较复杂,例如甲方需要的五彩斑斓的黑、ChatGPT出了七八版方案之后领导表示还要第一版,字再大点等情况,很容易把ChatGPT的CPU干烧啊....

现阶段的AI能否代替人类,结果显而易见。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/378773.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

如何打造自己的小程序生态?

2021 年全网小程序数量就已超 700 万,从微信开始,到其他各大平台,如抖音、支付宝,小程序发展迅猛,2023年小程序仍有着巨大的发展潜力。 现在。人们逐渐发现,日常的生活、出行、购物各个方面都越来越离不开…

CAN工具-VSpy(ValueCAN) - Panel面板

在介绍CANoe工具的时候,有介绍过Panel面板的使用,同样,在VSpy软件工具中,也有同类型的工具可供使用 - Graphical Panels,同样也能提供一个控制面板,然后我们通过连接信号实现不同的控件,已达到我…

极验4参数分析

目标链接 aHR0cHM6Ly9ndDQuZ2VldGVzdC5jb20v接口分析 开发者人员工具进行抓包,刷新页面,抓到了一个名为 load?captcha_idxxx 的包,Query String Parameters 包含了一些参数 captcha_id:验证码 id,固定值&#xff0c…

如何使用AzureGraph通过Microsoft Graph收集Azure活动目录信息

关于AzureGraph AzureGraph是一款针对Azure活动目录的信息收集工具,该工具基于Microsoft Graph实现其功能。多亏了Microsoft Graph技术,AzureGraph才能从Azure活动目录获取各种信息,如用户、设备、应用程序、域等。 此应用程序允许我们通过…

一次性搞定 `SHOW SLAVE STATUS` 的解读

一次性搞定 SHOW SLAVE STATUS 的解读 解析日志文件的位置 诚然, GTID(全局事务标识符)已经在 MySQL 5.6中得到支持, 此外,还可以通过 Tungsten replicator 软件来实现(2009年以后一直有谷歌在维护,不是吗?)。 但有一部分人还在使用MySQL 5.5的标准副本方式, 那么这些二进制日…

20道经典自动化测试面试题

概述 觉得自动化测试很难? 是的,它确实不简单。但是学会它,工资高啊! 担心面试的时候被问到自动化测试? 嗯,你担心的没错!确实会被经常问到! 现在应聘软件测试工程师的岗位&…

前端经典react面试题及答案

为什么 React 元素有一个 $$typeof 属性 目的是为了防止 XSS 攻击。因为 Synbol 无法被序列化,所以 React 可以通过有没有 $$typeof 属性来断出当前的 element 对象是从数据库来的还是自己生成的。 如果没有 $$typeof 这个属性,react 会拒绝处理该元素。…

docker搭建redis集群模式

目录docker 安装redis1.创建redis.conf开启redis验证(开启密码)允许redis外地连接后台启动开启redis持久化2.启动redis容器3.进入容器redis集群3主3从1.新建6个redis容器2.构建主从关系3.查询集群信息4.主从扩容5.主从缩容docker 安装redis 1.创建redis.conf 开启redis验证(开…

第四阶段-12关于Spring Security框架,RBAC,密码加密原则

关于csmall-passport项目 此项目主要用于实现“管理员”账号的后台管理功能,主要实现: 管理员登录添加管理员删除管理员显示管理员列表启用 / 禁用管理员 关于RBAC RBAC:Role-Based Access Control,基于角色的访问控制 在涉及…

Feign Ribbon Hystrix 三者关系

在微服务架构的应用中, Feign、Hystrix,Ribbon 三者都是必不可少的,可以说已经成为铁三角。 Feign 介绍 Feign 是一款Java语言编写的 HttpClient 绑定器,在 Spring Cloud 微服务中用于实现微服务之间的声明式调用。Feign 可以定…

IIC子系统

文章目录引言一、I2C 总线驱动框架二、I2C驱动框图(重点)三、I2C 子系统软件框架3.1 I2C子系统的4个关键结构体3.2 I2C总线与平台总线的结合3.3 在设备树信息添加i2c从设备3.4 新增加i2c从设备四、i2c driver驱动的编写4.1 陀螺仪和加速度工作原理4.2 mpu6050的寄存器信息和设置…

Synchronized的锁升级过程

Synchronized的锁升级过程 synchronized锁升级过程:在synchronized中引入了偏向锁、轻量级锁、重量级锁之后,当前具体使用的是synchronzed中的那种类型锁,是根据线程竞争激烈程度来决定的。 偏向锁:在锁对象的对象头中记录一下当…

中间件之Kafka实用篇

目录标题一、一些定义(一)设计kafka的初衷(二)消息的持久化(三)sendfile 技术(零拷贝)二、获取kafka三、卡夫卡客户端工具四、kafka核心API(功能)五、spring …

阶段十:总结专题(第三章:虚拟机篇)

阶段十:总结专题(第三章:虚拟机篇)Day-第三章:虚拟机篇1. JVM 内存结构2. JVM 内存参数3. JVM 垃圾回收4. 内存溢出5. 类加载6. 四种引用7. finalizeDay-第三章:虚拟机篇 1. JVM 内存结构 要求 掌握 JVM…

Spring Cloud Alibaba全家桶(三)——微服务负载均衡器Ribbon与LoadBalancer

前言 本文为 微服务负载均衡器Ribbon与LoadBalancer 相关知识,下边将对什么是Ribbon(包括:客户端的负载均衡、服务端的负载均衡、常见负载均衡算法),Nacos使用Ribbon,Ribbon内核原理(包括&#…

Qt::QOpenGLWidget 渲染天空壳

在qt窗口中嵌入opengl渲染天空壳和各种立方体一 学前知识天空壳的渲染学前小知识1 立方体贴图 天空壳的渲染就是利用立方体贴图来实现渲染流程2 基础光照 光照模型3 opengl帧缓冲 如何自定义帧缓冲实现后期特效4 glsl常见的shader内置函数 glsl编程常用的内置函数二 shader代码…

部署运行ai智障写作记录【ChatRWKV】

文章目录前言一、环境安装1.python环境:Python 3.10。2.安装一些 pip 库numpy 、tokenizers 、prompt_toolkit3.安装pytorch 1.13.1CUDA 11.7二、运行记录1、下载代码2、下载训练参数3、编辑代码运行总结前言 看到知乎一篇教程, 大佬自己弄得ai小说续写…

AI环境搭建步骤(Windows环境)

1. 安装好Anaconda3版本(1) 安装链接:https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/?CM&OD本文使用Anaconda3下载链接:Anaconda5(2) 注意安装anaconda时一定要把环境变量加入windows环境中。要没有勾选,安装完后还有手动加入…

线性代数学习-2

线性代数学习-2矩阵消元消元回代消元矩阵置换矩阵逆矩阵本文转载于https://herosunly.blog.csdn.net/article/details/88713747 该文章本人认为十分有用,便自己敲一遍笔记加固印象原文链接 原文这个笔记感觉比我老师讲的更加透彻,清晰。很好的展示了线性…

车辆热管理测试方案

车辆热管理是在能源危机出现、汽车排放法规日益严格以及人们对汽车舒适性要求更高的背景下应运而生的。将各个系统或部件如冷却系统、润滑系统和空调系统等集成一个有效的热管理系统;控制和优化车辆的热量传递过程,保证各关键部件和系统安全高效运行&…