Elasticsearch 8.1官网文档梳理 - 十一、Ingest pipelines(管道)

news/2024/7/5 7:51:18

Ingest pipelines

管道(Ingest pipelines)可让让数据在写入前进行常见的转换。例如可以利用管道删除文档(doc)的字段、或从文本中提取数据、丰富文档(doc)的字段等其他操作。

管道(Ingest pipelines)由一系列处理器(processors)组成,每个处理器都是一个可配置的任务。在管道(Ingest pipelines)中每个处理器(processors)按顺序运行,对接收到的文档(doc)进行特定更改。处理器(processors)运行后,Elasticsearch 会将转换后的文档(doc)添加到数据流(data stream)或索引(index)中。
在这里插入图片描述

一、Example: Parse logs

举例通过一个 pipline 来清理一份日志数据

二、Enrich your data

可以使用 enrich 处理器在管道中将现有索引中的数据添加到传入文档中。
在这里插入图片描述

2.1 Set up an enrich processor

这里描述了如何创建一个 enrich processor,里面提供了从创建到修改的 API 链接地址。

2.2 Example: Enrich your data based on geolocation

例子

2.3 Example: Enrich your data based on exact values

例子

2.4 Example: Enrich your data by matching a value to a range

例子

三、Processor reference

这里罗列了一些可以用的 处理器

3.1 Append
3.2 Bytes
3.3 Circle
3.4 Community ID
3.5 Convert
3.6 CSV
3.7 Date
3.8 Date index name
3.9 Dissect
3.10 Dot expander
3.11 Drop
3.12 Enrich

引入另外索引的数据到管道内的文档中

3.13 Fail
3.14 Fingerprint
3.15 Foreach

对数组或对象的每个元素运行管道的处理器。

3.16 GeoIP
3.17 Grok
3.18 Gsub
3.19 HTML strip
3.20 Inference
3.21 Join
3.22 JSON
3.23 KV
3.24 Lowercase
3.25 Network direction
3.26 Pipeline
3.27 Registered domain
3.28 Remove

删除现有字段。

3.29 Rename

重命名现有字段。如果字段不存在或新名称已被使用,则会出现异常。

3.30 Script

脚本

3.31 Set

设置一个字段并指定字段的值。如果字段已经存在,则替换字段的值。

3.32 Set security user

将当前已经验证的 用户 的详细信息写入到文档。

3.33 Sort
3.34 Split

分割

3.35 Trim

去除字符串首尾的空白字符

3.36 Uppercase

字符串大写

3.37 URL decode
3.38 URI parts
3.39 User agent

http://lihuaxi.xjx100.cn/news/2215818.html

相关文章

牛客小白月赛96 D 最小连通代价

题目在这里 题意: 加边是所有点连通,没有重边和自环,问最小代价 加边规则:两点权值奇偶性相同代价为a,否则为b − 100 ≤ a , b ≤ 100 -100\leq a,b \leq100 −100≤a,b≤100 分析: 这题就是一个分类讨论,先读进来统计奇数点和偶数点 记 …

Temu跨境电商按关键字搜索Temu商品API的应用及接口请求示例

Temu跨境电商按关键字搜索Temu商品API的应用场景 Temu跨境电商平台按关键字搜索Temu商品API的主要应用场景包括但不限于以下几个方面: 用户搜索商品:当用户在Temu平台上输入关键字搜索商品时,API会根据输入的关键字返回与之相关的商品列表&a…

Spring框架的原理及应用详解(五)

本系列文章简介: 在当今的软件开发世界中,随着应用复杂性的不断增加和技术的快速发展,传统的编程方式已经难以满足快速迭代、高可扩展性和易于维护的需求。为此,开发者们一直在寻求更加高效、灵活且易于管理的开发框架&#xff0c…

【杂记-浅谈以太网IP数据帧】

一、以太网数据帧 以太网数据帧是网络通信的基础单元,遵循IEEE 802.3标准,用于在以太网中传输数据。一个典型的以太网数据帧包括前导码、帧开始符、目的MAC地址、源MAC地址、类型或长度字段、数据载荷和帧校验序列。其中,类型字段指明了上层…

Scala网络编程:代理设置与Curl库应用实例

在网络编程的世界里,Scala以其强大的并发模型和函数式编程特性,成为了开发者的得力助手。然而,网络请求往往需要通过代理服务器进行,以满足企业安全策略或访问控制的需求。本文将深入探讨如何在Scala中使用Curl库进行网络编程&…

SpringBoot如何自定义启动Banner 以及自定义启动项目控制台输出信息 类似于若依启动大佛 制作教程

前言 Spring Boot 项目启动时会在控制台打印出一个 banner,下面演示如何定制这个 banner。 若依也会有相应的启动动画 _ooOoo_o8888888o88" . "88(| -_- |)O\ /O____/---\____. \\| |// ./ \\||| : |||// \/ _||||| -:- |||||- \| | \\…

嵌入式实训day5

1、 from machine import Pin import time # 定义按键引脚控制对象 key1 Pin(27,Pin.IN, Pin.PULL UP) key2 Pin(26,Pin.IN, Pin.PULL UP)led1 Pin(15,Pin.ouT, value0) led2 Pin(2,Pin.ouT, value0) led3 Pin(0,Pin.ouT, value0) # 定义key1按键中断处理函数 def key1 ir…

区块链之快照

定义 区块链快照是区块链技术中一个非常重要的概念,它可以帮助区块链系统提高性能和数据管理效率。 什么是区块链快照 区块链快照是指在某个时间点对整个区块链的状态进行保存和备份的过程。 快照会记录区块链上所有账户的余额、合约状态等信息,并将其序列化存储起来。 这样…