為什么 Netflix 和 Apple 選擇了 Rust、PostgreSQL 和 Iceberg 構建他們的數(shù)據(jù)棧?
特性改变,集成演进着,原则永恒。(作者原创图片)
_> “我们已经看到了现代数据架构构建方式的结构性转变。”
从领英到苹果,从奈飞到腾讯,当今领先的科技公司都在汇聚到一些共同的技术上,来管理它们不断增长的实时数据流。这些选择并非随机——它们反映了我们在构建大规模、开放和灵活的系统方面更深层次的变化。
本文将解释为什么像 Rust 、 PostgreSQL 、 S3 和 Apache Iceberg 这样的技术正在悄悄成为现代数据栈的新基石——以及我们如何在 RisingWave 中整合这些技术,RisingWave 是一个下一代云端原生流数据库。
🚀 Rust:性能和安全的完美结合Rust已经成为系统程序员的最爱——确实有原因。
- 最受欢迎的语言(83%)——Stack Overflow 2024
- 每天在crates.io的下载量为42,712次
- 活跃的社区:
r/rust
(三十二万二千),r/learnrust
(三万一千),r/rust_gamedev
(四万一千) - 被AWS、Dropbox、Cloudflare等公司和许多数据库供应商采用
Rust的安全保障和零成本抽象技术使得它非常适合高性能、并发和可扩展的系统,比如现代流媒体引擎。
Rust:增长、采用和社区势头。(作者创作的图片)
🐘 PostgreSQL: SQL,用起来就是这么顺手(还能扩展)PostgreSQL 已从一个可靠的 OLTP(联机事务处理)数据库发展成为今天数据基础设施的基础之一。
- 年度数据库管理系统(DB-Engines 2024)
- 被48.7%的开发者使用(Stack Overflow 2024)
- 兼容Spark、Flink、dbt及BI仪表板
- 新型数据库(如TimescaleDB和RisingWave)的核心接口
由于其丰富的生态系统和长期稳定的特性,它已经成为许多现代数据平台默认使用的SQL层。
PostgreSQL:年度数据库管理系统(DBMS)(2024)——连续三年获奖。(作者自创图片)
☁️ Amazon S3:云端数据背后的存储工作马驹,Amazon S3不仅仅是一个存储服务,它更是一个平台。
- 存储350万亿个对象
- 每秒处理超过1亿次请求
- 11个9的持久性(99.999999999%),即接近100%的持久性
- 被MinIO、R2、DigitalOcean、IBM Cloud等多家公司采用
凭借其规模、简单性以及与 API 的兼容性,S3 (一个存储服务) 已成为从分析到人工智能的各种用途的通用存储解决方案。
亚马逊 S3:可扩展性、速度与兼容性。 (图片由作者提供)
❄ Apache Iceberg:开放式数据湖的全新默认标准冰山团队正在改变我们管理大规模数据的分析方式。
- 被 Netflix、Apple、AWS、Adobe、LinkedIn、Tencent 和 Pinterest 采用
- 生态系统发展势头:Databricks 收购了 Tabular,Snowflake 推出了 Polaris 目录,Dremio 构建了 Hybrid Iceberg 目录
- 获得 Trino、BigQuery、Flink、StarRocks、Redpanda 和更多支持
- 实现了批处理与流处理的统一,零 ETL 架构,以及开放数据治理
冰山(Iceberg)不仅是一种格式——它是一个现代化的、兼容且供应商中立的数据基础设施协议。
Apache Iceberg:未来的开放数据格式。
💡 在 RisingWave 中把一切都整合起来我们基于这些基础在RisingWave构建了以流优先的数据库。
- Rust 作为快速且安全的核心引擎
- PostgreSQL 协议 以保持熟悉和互操作性
- Amazon S3 作为默认的低成本且可扩展的存储层
- Apache Iceberg 将流数据与历史数据连接到一个可查询的系统
借助 RisingWave,开发人员可以使用简单的 SQL 语句来获取、处理和分析实时数据,无需锁定,无需专有技术层,只需使用正确的开放标准。
共同學習,寫下你的評論
評論加載中...
作者其他優(yōu)質文章