Redact 处理器使用 Grok 规则引擎来隐藏输入文档中与给定 Grok 模式匹配的文本。该处理器可用于隐藏个人身份信息 (Personal Identifying Information - PII)，方法是将其配置为检测已知模式，例如电子邮件或 IP 地址。与 Grok 模式匹配的文本将被替换为可配置的字符串，例如与电子邮件地址匹配的 <EMAIL>，或者如果愿意，只需将所有匹配项替换为文本 <REDACTED>。
Elasticsearch 附带了许多有用的预定义模式，Redact 处理器可以方便地引用这些模式。如果其中一个不符合你的需求，请使用自定义模式定义创建新模式。Redact 处理器会替换匹配的每一个出现位置。如果有多个匹配项，则所有匹配项都将替换为模式名称。
Redact 处理器与 Elastic Common Schema (ECS) 模式兼容。不支持旧版 Grok 模式。
注意：这个 redact 处理器器需要需要订阅白金或者企业版才可以使用。
在管道中使用 Redact 处理器
| 名称 | 必须 | 默认值 | 描述 |
|---|---|---|---|
|
| yes | - | 要编辑的字段 |
|
| yes | - | 用于匹配和编辑命名捕获的 grok 表达式列表 |
|
| no | - | 模式名称和模式元组的映射，定义处理器要使用的自定义模式。与现有名称匹配的模式将覆盖预先存在的定义 |
|
| no | < | 使用此标记开始编辑部分 |
|
| no | > | 以此标记结束编辑部分 |
|
| no |
| 如果为 true 且字段不存在或为空，则处理器会悄悄退出，而不会修改文档 |
|
| no | - | 处理器的描述。用于描述处理器的用途或其配置。 |
|
| no | - | 有条件地执行处理器。请参阅有条件地运行处理器。 |
|
| no |
| 忽略处理器的故障。请参阅处理管道故障。 |
|
| no | - | 处理处理器故障。请参阅处理管道故障。 |
|
| no | - | 处理器的标识符。对于调试和指标很有用。 |
|
| no |
| 如果为真，且当前许可证不支持运行修订处理器，则处理器会悄悄退出，不修改文档 |
在此示例中，预定义的 IP Grok 模式用于匹配和编辑 message 文本字段中的 IP 地址。使用 Simulate API 测试管道。
POST _ingest/pipeline/_simulate
{
"pipeline": {
"description" : "Hide my IP",
"processors": [
{
"redact": {
"field": "message",
"patterns": ["%{IP:client}"]
}
}
]
},
"docs":[
{
"_source": {
"message": "55.3.244.1 GET /index.html 15824 0.043"
}
}
]
}
如果没有授权，我们可以看到如上所示的错误信息。我们可以启动白金试用。然后再运行和上面的命令：
响应中的文档仍然包含 message 字段，但现在 IP 地址 55.3.244.1 被文本 <client> 替换。
IP 地址被替换为单词 client，因为这是 Grok 模式 %{IP:client} 中指定的。模式名称周围的 < 和 > 标记可使用前缀和后缀选项进行配置。
下一个示例定义了多个模式，它们都替换为单词 REDACTED，前缀和后缀标记设置为 *
POST _ingest/pipeline/_simulate
{
"pipeline": {
"description": "Hide my IP",
"processors": [
{
"redact": {
"field": "message",
"patterns": [
"%{IP:REDACTED}",
"%{EMAILADDRESS:REDACTED}"
],
"prefix": "*",
"suffix": "*"
}
}
]
},
"docs": [
{
"_source": {
"message": "55.3.244.1 GET /index.html 15824 0.043 test@elastic.co"
}
}
]
}
在响应中，IP 55.3.244.1 和电子邮件地址 test@elastic.co 都已被 *REDACTED* 替换。
自定义模式
如果现有的 Grok 模式之一不符合你的要求，可以使用 pattern_definitions 选项添加自定义模式。新模式定义由模式名称和模式本身组成。模式可以是正则表达式或引用现有的 Grok 模式。
此示例定义自定义模式 GITHUB_NAME 以匹配 GitHub 用户名。模式定义使用以文字 @ 为前缀的现有 USERNAME Grok 模式。
注意：Grok 调试器是用于构建自定义模式的真正有用的工具。
POST _ingest/pipeline/_simulate
{
"pipeline": {
"processors": [
{
"redact": {
"field": "message",
"patterns": [
"%{GITHUB_NAME:GITHUB_NAME}"
],
"pattern_definitions": {
"GITHUB_NAME": "@%{USERNAME}"
}
}
}
]
},
"docs": [
{
"_source": {
"message": "@elastic-data-management the PR is ready for review"
}
}
]
}
用户名在响应中已被删除。
Grok 看门狗
看门狗会中断执行时间过长的表达式。中断后，Redact 处理器会失败并出现错误。控制 Grok Watchdog 超时的相同设置也适用于 Redact 处理器。
许可
Redact 处理器是一项商业功能，需要适当的许可证。有关更多信息，请参阅 https://www.elastic.co/subscriptions。
可以在 redact 处理器上设置 skip_if_unlicensed 选项，以控制集群许可证不足以运行此类处理器时的行为。skip_if_unlicensed 默认为 false，如果集群许可证不足，redact 处理器将抛出异常。但是，如果将 skip_if_unlicensed 选项设置为 true，则在许可证不足的情况下，redact 处理器不会抛出异常（它什么也不做）。
