Elasticsearch 分片滚动查询与数据准确性

news/2024/7/7 22:02:51

目录

分片滚动查询的数据准确性

非分片滚动查询的数据准确性

实时写入对查询的影响

结论


分片滚动查询的数据准确性

  1. 分片滚动查询概念: 分片滚动查询是指在Elasticsearch中对每个分片进行的连续查询操作,这种查询可以处理大量数据而不会受到深度分页的影响。

  2. 数据一致性: 在分片滚动查询中,一旦查询开始,它会在一个特定的时间点对数据进行快照。这意味着即使在查询过程中有新数据写入,这些新数据也不会在当前的滚动查询中出现。

非分片滚动查询的数据准确性

  1. 滚动查询定义: 滚动查询是一种在Elasticsearch中用于检索大量数据的机制,它通过创建一个持续存在的搜索上下文来避免深度分页的问题。

  2. 数据快照: 与分片滚动查询类似,滚动查询在开始时会对数据创建一个快照,并在后续的滚动中使用这个快照。因此,滚动查询不会反映在查询开始后写入的数据。

实时写入对查询的影响

  1. 近实时特性: Elasticsearch的近实时(NRT)特性意味着新写入的数据需要一段时间(通常为秒级)才能对搜索可见。

  2. 查询与写入的同步性: 如果在滚动查询开始之后有新数据持续写入,那么这些数据将不会出现在当前的滚动查询结果中。只有在下一个滚动查询开始之前,这些数据被刷新并对搜索可见时,才会被包含在新的查询结果中。

结论

  • 数据准确性: 对于正在进行的分片滚动查询或滚动查询,数据是准确的,但仅限于查询开始时的数据快照。新写入的数据不会反映在当前的滚动查询结果中。

  • 数据一致性: 滚动查询确保了在查询期间数据的一致性,即使在查询过程中发生了新的数据写入。

  • 查询策略: 如果需要包括实时写入的数据,应该在新数据写入并刷新后重新开始一个新的滚动查询。

  总结来说,分片滚动查询和滚动查询在Elasticsearch中提供了在特定时间点的数据快照,保证了数据的一致性,但不包括在查询开始之后写入的新数据。对于需要实时数据的场景,可能需要考虑在写入后重新执行查询。


http://lihuaxi.xjx100.cn/news/1908032.html

相关文章

微服务 Spring Cloud 10,如何追踪微服务调用?服务治理的常见手段

目录 一、服务追踪的作用1、优化系统瓶颈2、优化链路调用3、故障排查4、性能优化5、生成网络拓扑图4、透明传输数据 二、节点管理1、服务调用失败一般有两类原因造成:2、服务调用失败的解决方式:3、服务调用失败的具体解决方式: 三、负载均衡…

小程序面试题 | 09.精选小程序面试题

🤍 前端开发工程师(主业)、技术博主(副业)、已过CET6 🍨 阿珊和她的猫_CSDN个人主页 🕠 牛客高级专题作者、在牛客打造高质量专栏《前端面试必备》 🍚 蓝桥云课签约作者、已在蓝桥云…

SpringMVC之处理响应

系列文章目录 提示:这里可以添加系列文章的所有文章的目录,目录需要自己手动添加 SpringMVC之处理响应 提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 系列文章目录前言一、配置视图解析器…

Python个人生产力终端看板应用程序

特点 在底层使用 rich 来处理用户输入并向终端显示漂亮的看板。每个任务在每个面板上都有一个唯一的 ID,并且还具有与其关联的可选标签和截止日期,这些信息显示在其标题旁边。 利用 platformdirs user_config_dir 来保存配置文件和用于板特定任务文件的…

LA@线性代数学习总结@主要对象和问题@思想方法

文章目录 线性代数研究对象主要问题联系核心概念核心定理 核心操作和运算基础高级小结 性质和推导方法问题转换为线性方程组求解问题验证和推导性质定理 线性代数研究对象 线性代数的研究对象主要是行列式和矩阵(向量)矩阵这种对象可以做的操作和运算很多,特别是方阵,它们的计…

配置BGP的基本示例

BGP简介 定义 边界网关协议BGP(Border Gateway Protocol)是一种实现自治系统AS(Autonomous System)之间的路由可达,并选择最佳路由的距离矢量路由协议。早期发布的三个版本分别是BGP-1(RFC1105&#xff0…

使用PE信息查看工具和Beyond Compare文件比较工具排查dll文件版本不对的问题

目录 1、问题说明 2、修改了代码,但安装版本还是有问题 3、使用PE信息查看工具查看音视频库文件(二进制)的时间戳 4、使用Beyond Compare比较两个库文件的差异 5、找到原因 6、最后 C软件异常排查从入门到精通系列教程(专栏…

Flink 状态管理与容错机制(CheckPoint SavePoint)的关系

一、什么是状态 无状态计算的例子: 例如一个加法算子,第一次输入235那么以后我多次数据23的时候得到的结果都是5。得出的结论就是,相同的输入都会得到相同的结果,与次数无关。 有状态计算的例子: 访问量的统计&#x…