数据Lakehouse查询引擎| Dremio-十大网赌靠谱网址平台

世界上最快的湖屋引擎

使用数据反射和柱状云缓存等查询加速技术(C3), 十大网赌靠谱网址平台使直接在数据湖存储上实现交互响应时间成为可能, 无需将数据复制到仓库中, 集市, 提取物或方块.

柱状云缓存(C3)使Dremio能够利用云计算实例内置的NVMe/SSD，在S3/ADLS/GCS上实现NVMe级别的I/O性能, 比如亚马逊EC2和Azure虚拟机.

C3只缓存满足工作负载所需的数据，甚至可以缓存数据集中的单个微块. 如果你的桌子有1个,您只查询这些列的一个子集，并过滤特定时间范围内的数据, 那么C3就会缓存表的这一部分.

通过选择性缓存数据, C3还消除了超过90%的S3/ADLS/GCS I/O成本, 对于您运行的每个查询，哪一个可能占到成本的10-15%.

数据反射是一种数据结构，它可以智能地预先计算聚合和对数据的其他操作, 因此，您不必动态地进行复杂的聚合和钻取.

反射对最终用户是完全透明的. 而不是连接到一个特定的物化, 用户查询所需的表和视图，Dremio优化器会选择最佳反射来满足和加速查询.

除了对数据分析人员来说很简单之外，Reflections也非常容易创建和维护! 您可以使用UI或REST API来管理反射, 而不必编写复杂的SQL语句来定义物化视图和刷新规则.

查询引擎可以选择多种策略来执行您提交的任何查询. 选择正确的策略至关重要——错误的连接算法可能会使您陷入停顿!

Dremio的基于成本的优化器通过了解您想要查询的数据的深度统计信息，选择最快的路径来完成查询, 包括位置, 基数, 和分布. 它使用该数据准确地预测有多少数据将流经查询的操作符，以便选择最佳计划. 它还考虑了系统中的反射，并重写了查询计划以使用它们.

运行时过滤使Dremio能够动态地将过滤器从较小的连接表应用到较大的表，以增强对较大表的过滤. Dremio在连接上自动应用这些过滤器，无需任何用户参与，并且在使用传统的星型或雪花模式时提供高达100倍的性能改进.

Dremio是一个由Apache Arrow提供支持的柱状引擎, 列式的开源标准, 内存计算(十大网赌靠谱网址平台共同创建的)!).

德雷米奥利用了甘地, 用于运行时代码生成的基于llvm的库, 创建机器代码，有效地计算成批列式Arrow数据上的任意表达式, 而不是基于行执行.

Gandiva最大限度地提高了CPU利用率，并利用了向量化处理和SIMD执行等优化，使您的查询更加高效!

Apache Arrow是Dremio的内部内存格式, 它也是Python和R开发人员的标准，每月下载量超过2000万次. 箭飞行是现代的, 开源RPC框架，由Dremio共同创建，用于在支持arrow的系统之间实现超高速数据传输.

Flight消除了序列化和反序列化, 支持并行性, 并且避免了对专有客户端驱动程序的需求. 结果是:与传统JDBC和ODBC接口相比，对查询结果的访问速度提高了20-100倍.

Dremio具有多引擎架构, 所以你可以创建多个合适大小的, 用于组织中各种工作负载的物理隔离引擎. 您可以轻松地设置工作负载管理规则，将查询路由到您定义的引擎, 因此，您永远不必再担心复杂的数据科学工作负载会阻止高管的仪表板加载.

除了消除资源争用之外, 引擎可以快速调整大小以处理任何并发性和吞吐量的工作负载, 当你不运行查询时自动停止.

零噪声邻居，100%的资源控制，降低60%的计算成本.