自 OpenAI 公司于 2022 年 11 月 30 日发布 ChatGPT 以来，经过 23 年一整年的发展之后，大语言模型的概念已逐渐普及，出现了各种基于大语言模型的周边产品，可以说已经玩的相当花哨了。

在这个AI发展的过程中，不少本地化部署的模型方案逐渐冒出来，在针对一些企业和特定的生活等场景中，第一优先考虑的是如何模型本地化的问题，因此在本地如何把模型调教的更加灵敏，反应更加迅速，以及更加能，就是一个非常重要的技能了。

AI 系统性能：指的是人工智能系统（如机器学习模型、自然语言处理服务等）的处理能力，即每秒能够处理多少个查询或请求。这对于实时应用和服务至关重要，如智能助理、搜索引擎、推荐系统等。

AI是通过数据收集，自动爬取互联网上的网页和文档等信息，并将其收集起来。这些数据将被用于后续的分析和处理。然后将数据进行分析包括文本提取、语义分析和信息提取等。通过这些处理和分析，AI搜索引擎可以理解用户的搜索意图，并提供更准确的搜索结果。然后通过数据索引将处理和分析后的数据进行索引，以便用户进行快速检索。索引可以使搜索引擎更高效地找到相关的信息并返回给用户。最终通过搜索结果展示当用户通过搜索引擎输入关键词进行搜索时，AI搜索引擎会根据之前的数据处理和索引结果，找到与用户搜索意图相关的信息，并将其展示给用户。搜索结果通常包括网页、图片、新闻等多种形式。AI搜索引擎利用人工智能技术，能够理解用户搜索意图，提供更准确和个性化的搜索结果。它不仅可以根据关键词进行匹配，还可以根据用户的历史搜索记录和上下文信息进行推断和预测，从而提供更符合用户需求的搜索结果。再此过程中AI可以自动识别用户的搜索需求，寻求最短的数据获取和展示路径，提升数据计算性能，以最快的方式展示结果。AI通过训练模型和算法，AI搜索引擎可以逐渐理解和预测用户的搜索行为。在同一时间内，可以分析出准确的搜索路径，在短时间内提升最大QPS峰值来达到性能提升。同时因为理解了用户的语义，同时也提供更精准的搜索结果。

API 请求速率：对于提供 AI 功能的服务（如 OpenAI 的 API），QPS 数据可以用来衡量服务的负载和性能。例如，OpenAI 的 GPT 模型每秒能处理多少个 API 请求。

首先，AI API访问的QPS并非越大越好，因为过高的QPS会让恶意行为者可能会向 API 发送大量请求，以试图使其过载或导致服务中断。 通过设置QPS限制，AI 防止滥用或误用 API。

QPS限制有助于确保每个人都能公平地访问 API。 如果一个人或组织发出过多的请求，可能会使其他人的 API 陷入困境。 通过限制单个用户可以发出的请求数量，OpenAI 确保每个人都有机会使用 API 而不会遇到速度下降的情况。

QPS过大会对 API 的请求急剧增加，可能会对服务器造成负担并导致性能问题。

当然如果正确的使用AI API，可以在短时间内提升至最大的QPS来达到API的最大请求速率，这样用户的体验将是现象级的。

AI负载均衡和扩展：AI 系统的 QPS 数据有助于进行负载均衡和系统扩展，以确保在高需求时系统能保持稳定和响应迅速。

AI会在多个计算节点之间分配工作负载的过程，以便更有效地利用资源，提高系统的可靠性和性能。在AI模型中，负载均衡可以通过以下方式实现：

• 数据并行：将输入数据分割成多个子集，并在多个计算节点上同时处理这些子集。
• 模型并行：将AI模型分割成多个部分，并在多个计算节点上同时处理这些部分。

AI能智能计算多个计算节点的QPS大小来决定分发到哪个计算节点在达到最优计算能力。

监控和优化：通过监控 QPS 数据，开发者和运维人员可以识别系统瓶颈、优化性能并进行必要的调整。

AI监控QPS的变化来让开发者或者运维人员来调整服务器或者系统计算节点的负载方式和能力，比如我们智能交通线路上有众多的摄像头，每时每刻都有无数的监控数据回传，我们通过AI来识别海量的影响数据，来识别报警数据的监控，监控QPS过高的数据来分析特定的问题场景达到监控优化的目的。

在AI时代，QPS是一项非常关键的指标，来帮助AI成为各种场景实现高效率，高智能，高灵敏的好帮手。

---

 关注Mapmost，持续更新GIS、三维美术、计算机技术干货

Mapmost是一套以三维地图和时空计算为特色的数字孪生底座平台,包含了空间数据管理工具(Studio)、应用开发工具(SDK)、应用创作工具（Alpha）。平台能力已覆盖城市时空数据的集成、多源数据资源的发布管理，以及数字孪生应用开发工具链，满足企业开发者用户快速搭建数字孪生场景的切实需求，助力实现行业领先。

欢迎进入官网体验使用：Mapmost——让人与机器联合创作成为新常态