April 2025
Languages
- Rust
- does using rust really make safer? 一个很有趣的实验,对一个 DNS 解析的安全漏洞,选择4个人使用Rust进行重写(包括实习生与有经验的同学),整体的安全性能大幅度改进。
- bumpalo:A fast bump allocation arena for Rust. 类似于 zig 的 ArenaAllocator。对于 Request/Response 模式的应用场景,有着最好的内存分配性能。
- Scala
- Scala.js 1.19.0 对 WASM 支持增强。
MPP & OLAP
- Datafusion
- Part 1: Query Engine Architecture
- Part 2: Logical Plan and Expressions
- Part 3: Physical Plan and Execution 思考:
- 对比 Datafusion 与 DuckDB/Polars 的执行计划
- 从 Part 3, page 11 来看,datafusion 在 operator 间基于 async/await 异步执行。而 duckdb 在 pipeline 之内的 operator 是同步执行的。 这个可能是 duckdb 的性能优势。
- 引入一个新的 IR 思考:another query plan IR- draft
- DSM vs. NSM 为什么列存数据库DuckDB的算子会用到行存
- duckdb hash aggr性能分析
- Introducing Rift: Tecton’s Compute Engine
- Big data is dead because of Big Machine. 34T memory * 480 cores
- Single node queries are cool again.
- Storage and Compute separation.
- Familiar, Python-native(notebook), local first developer experience.
- Scalable, efficient, and portable across all workloads.
- Faster time to market with lower operational cost.