Elasticsearch：人工智能时代的公共部门数据治理

news2025/4/2 22:08:13

作者：来自 Elastic Darren Meiss

人工智能（AI）和生成式人工智能（GenAI）正在迅速改变公共部门，从理论探讨走向实际应用。正确的数据准备、管理和治理将在 GenAI 的成功实施中发挥关键作用。

我们最近举办了一场名为 “人工智能时代的公共部门数据治理” 的网络研讨会，邀请了行业专家 IDC 研究总监 Max Klaps 和 Elastic 杰出架构师 Dave Erickson。他们探讨了 GenAI 在政府、教育和国防领域的现状，并深入分析了 GenAI 带来的数据挑战和机遇。

公共部门机构对 AI 的态度发生了重大转变。最初，它们主要在不同的 AI 工具和试点项目上进行探索，如今的重点则是确定能够带来实际价值并与组织使命及关键绩效指标（KPI）相契合的具体用例。

人工智能 ( AI ) 在政府中的发展

政府机构和其他公共部门组织对 AI 的应用方式发生了重大变化。最初，这些组织尝试使用各种 AI 工具和试点项目。然而，现在的重点已经转向识别能够提供实际价值并符合组织使命和关键绩效指标 ( key performance indicators - KPIs ) 的具体用例。

根据 IDC 的研究，大约一半的公共部门组织正在运行试点项目，20% 的组织已经在生产环境中实施 AI 。现在的关键问题是 AI 可以在哪些领域产生最大影响。各组织正在优先考虑那些能够提升运营效率、增强韧性、减少错误、确保合规性并提高流程可观察性的用例。最终目标是利用 AI ，尤其是生成式 AI ( GenAI ) ，为公共部门的工作人员、公民和学生带来更好的成果。

优先考虑高影响力的用例

当前的重点集中在几个关键用例上，被归类为 “第一阶段” ( horizon one ) ，其目标是取得早期成果、测试现有能力，并探索更具影响力和外部导向的未来用例。

第一阶段的用例通常涉及内部流程，例如关键自然基础设施保护、金融市场监管、动态数字立法、公共沟通和通知，以及为高等教育提供 AI 研究和写作辅助。这些用例通常围绕内容获取、摘要和准备展开。

展望未来，公共部门领导者正在探索并扩大对任务成果有直接影响的用例。这些包括提升服务交付、减少税务合规负担、确保支付完整性并降低欺诈风险、将自然语言能力集成到 311 系统中，以及在高等教育中实现超个性化的学生招生和干预。

克服挑战并确保数据准备就绪

实施 GenAI 并非没有挑战，常见的障碍包括：

治理 ( Governance )
风险 ( Risk )
安全性 ( Security )
成本控制 ( Cost control )
可扩展性 ( Scalability )

但一个反复出现的主题是数据准备的重要性。尽管高质量数据至关重要，但数量并不是主要问题。公共部门组织可以利用预训练模型，并专注于为 AI 提供与特定用例相关的、精心整理的数据。这种方法被称为 检索增强生成 ( RAG, Retrieval Augmented Generation )，可以确保 AI 的回答基于权威信息，并降低错误或偏见输出的风险。输入生成模型的数据质量至关重要。

RAG：成功的关键模式

RAG 是为 生成式 AI ( GenAI ) 提供适当上下文的重要工作流。它不是仅依赖模型的 预先知识 ( pre-existing knowledge )，而是从组织的 专有数据 ( proprietary data )（如 文档 ( documents )、图像 ( images )、音频 ( audio )）中检索相关数据，并利用这些数据来优化 AI ( 人工智能 ) 的回答。这种方法可以提高 AI 生成答案的准确性 ( accuracy )、可信度 ( trustworthiness ) 和 可解释性 ( explainability )。

Elastic 在实现 RAG 方面发挥着重要作用。我们的 向量数据库 ( vector database ) 使组织能够存储、检索和分析海量数据，从而更轻松地将 AI 关联到权威信息。

负责任的 AI 和风险缓解

负责任的 AI ( Responsible AI ) 需要确保 AI 系统 ( AI systems ) 具备 道德性 ( ethical )、可解释性 ( explainable ) 和 透明性 ( transparent )。组织可以采取以下措施来促进 负责任的 AI：

评估和分类不同用例的 风险等级 ( risk levels )
优先考虑 风险缓解策略 ( risk mitigation strategies )，例如实施 数据安全协议 ( data security protocols ) 和 检测偏见 ( detecting bias )
建立 明确的责任和报告机制 ( clear accountability and reporting mechanisms )
与公众沟通，解释 AI 的风险 ( risks ) 和 机遇 ( opportunities )

在讨论 AI 风险 ( AI risks ) 时，使用 统一的语言和框架 ( common language and framework ) 至关重要。例如，在 美国 ( United States )，可以参考 国家标准与技术研究院 ( NIST ) 的风险管理框架 ( Risk Management Framework, RMF )。

另一个关键点是，将 负责任 AI 的补偿控制 ( compensating controls ) 与 AI 本身 ( AI itself ) 分开 —— 换句话说，就是 保持对 AI 监管措施 ( guardrails ) 的控制。此外，持续评估 ( continuous evaluation ) AI 生成的答案 对于确保公众信任至关重要。

为 GenAI 培养人才

人 ( People ) 是 成功实施 GenAI ( 生成式 AI ) 的关键。组织需要投入 培训 ( training ) 和 发展 ( development )，以确保员工适应这一变革。关键关注点包括：

为所有员工建立 AI 认知 ( AI awareness ) 和 风险培训 ( risk training )
为 技术人员 ( technical staff ) 提供 AI 工具 ( tools ) 和 实践机会 ( opportunities )
利用 合作伙伴生态系统 ( partner ecosystem ) 的专业知识，例如 学术研究机构 ( academic research institutions ) 和 标准机构 ( standards bodies )
创建空间，让员工体验 AI 的局限性 ( AI's limitations )，并学习如何将其 有效作为工具 ( use it effectively as a tool )。强调 摒弃 AI 是全知全能 ( all-knowing entity ) 的思维方式，并鼓励更加 务实 ( practical ) 的方法，以理解 AI 的能力 ( capabilities ) 和 局限性 ( limitations )。