微软开源数据处理引擎 Trill,每天可分析万亿次事件

news/2024/7/5 8:41:34

微软近日开源了数据处理引擎 Trill,它每天能够分析万亿次事件。

项目地址:https://github.com/Microsoft/trill

当下每毫秒处理大量数据正成为一种常见的业务需求,此次微软开源的 Trill,据说每秒能够处理高达数十亿事件,它结合了多模式分析支持和一系列其它功能,微软声称其它任何系统都无法完全与之匹敌。它有如下特点:

  • 作为单节点引擎库,任何 .NET 应用程序、服务或平台都可以轻松使用并处理查询。

  • 提供一种时态查询语言,允许用户进行实时和离线数据集复杂查询。

  • 高性能,满足高速度与低延迟。过滤器以每秒数十亿事件的内存带宽速度运行,而分组聚合每秒运行 10 到 1 亿个事件。

该引擎用途广泛,足以处理实时数据和历史数据,目前只有少数几款开源工具拥有同样的能力。

Trill 于 2012 年开始作为 Microsoft Research 的一个研究项目,在 VLDB 和 IEEE Data Engineering Bulletin 等研究论文中进行了广泛的描述。Trill 最早来源于微软以前的服务 StreamInsight,这是一个功能强大的平台,允许开发人员开发和部署复杂的事件处理应用程序。两个系统都基于扩展查询和数据模型,该模型使用时间组件扩展关系模型。

对于用户来说,使用 Trill 与使用任何 .NET 库是一样的,因此不需要脱离 .NET 环境。用户可以将 Trill 嵌入到各种分布式处理基础架构中,例如 Orleans 和微软的 SCOPE 数据处理基础架构的流式版本。

Trill 支持内部应用程序和外部服务,覆盖数千名开发人员,目前已经提供了许多功能强大的流媒体服务,使用场景包括:

  • Financial Fabric

  • Bing Ads

  • Azure Stream Analytics

  • Halo

更详细的分析查看 Microsoft Azure 首席软件工程师的这篇文章:

https://azure.microsoft.com/en-us/blog/microsoft-open-sources-trill-to-deliver-insights-on-a-trillion-events-a-day


http://lihuaxi.xjx100.cn/news/236581.html

相关文章

搭建本地https

生成证书 1. 使用openssl生成密钥privkey.pem: openssl genrsa -out privkey.pem 1024/2038 2. 使用密钥生成证书server.pem: openssl req -new -x509 -key privkey.pem -out server.pem -days 365 证书信息可以随便填或者留空,只有Common Na…

python怎么切片提取_彻底搞懂Python切片操作

在利用Python解决各种实际问题的过程中,经常会遇到从某个对象中抽取部分值的情况,切片操作正是专门用于完成这一操作的有力武器。理论上而言,只要条件表达式得当,可以通过单次或多次切片操作实现任意切取目标值。切片操作的基本语…

从0到1构建网易云信IM私有化

本文来源于MOT技术管理课堂杭州站演讲实录,全文 2410 字,阅读约需 5分钟。网易云信资深研发工程师张翱从私有化面临的问题及需求说起,分享了网易云信IM私有化的解决方案和具体实践。想要阅读更多技术干货、行业洞察,欢迎关注网易云…

vue中动态样式不起作用? scoped了解一下

vue中style标签使用属性scoped的注意事项 style上添加属性scoped可以实现样式私有化,但是在使用动态样式时,样式会不起作用。可以先去掉scoped转载于:https://www.cnblogs.com/zuojiayi/p/9364347.html

mac远程连接windows工具_Windows远程MAC系统

第一步、在 Mac 上设置好屏幕共享1. 1先请在苹果 Mac 电脑上的“系统偏好设置”窗口中打开“共享”功能,如图所示接着在共享窗口中的左侧点击启用“屏幕共享”选项,如图所示当屏幕共享功能打开以后,请点击“电脑设置”按钮,如图所…

php 扩展包链接

https://pecl.php.net/package-stats.php?cid7转载于:https://www.cnblogs.com/gaoyuechen/p/10148754.html

SQL Server 2012 OFFSET/FETCH NEXT分页示例

原文:http://beyondrelational.com/modules/29/presentations/483/scripts/12983/sql-server-2012-server-side-paging-demo-using-offsetfetch-next.aspx?utm_sourcebrnewsletter&utm_mediumemail&utm_campaign2012Apr SQL Server 2005 引入了 ROW_NUMBER…

python lstm_python-Keras中LSTM的补充

好的,所以您的问题让我开始思考,我想我已经解决了,但是什么都没有.这是我为获取LSTM实现背后的一些见识而编写的代码段.from keras.layers import LSTMfrom keras.models import Sequentialmodel Sequential()model.add(LSTM(10, input_shape(20, 30), return_sequencesTrue))…