开源项目作者
作为一个开源项目作者，是时候站出来拯救世界了！
领取时间：2021/02/08
领取条件：开源项目被开源中国收录的开发者可领取
加载中
原
荐
Spark Commiter 深度解读：Apache Spark Native Engine
本文来自网易杭研大数据技术专家、Apache Kyuubi PMC Member、Apache Spark Committer 尤夕多，内容主要围绕 Apache Spark 与 Native Engine 展开，分享什么是 Native Engine，为什么要做 Na...
原
荐
Kyuubi 发起人燕青成为 Apache Incubator PMC?成员
网易杭州研究院、网易数帆大数据专家燕青再添新头衔，这一次，是 Apache Incubator PMC 成员。 近日，Apache Incubator PMC（Apache 软件基金会孵化器项目管理委员会，简称 IPMC）宣布，接纳...
原
荐
思科基于 Amoro + Apache Iceberg 构建云原生湖仓实践
Amoro 是一个构建在 Apache Iceberg 等开放数据湖表格之上的湖仓管理系统，由网易数帆大数据团队发起开源，提供了一套可插拔的数据自优化机制和管理服务，旨在为用户带来开箱即用的湖仓使用体...
原
荐
Amoro 0.6.0 发布：集成 Kubernetes 与 S3，支持 Apache Paimon
Amoro 是一个构建在 Apache Iceberg 等开放数据湖表格之上的湖仓管理系统，提供了一套可插拔的数据自优化机制和管理服务，旨在为用户带来开箱即用的湖仓使用体验。 2023 年 11 月 07 日，Amo...
荐
基于 Apache Kyuubi 实现分布式 Flink SQL 网关
Apache Kyuubi [1] 是一个分布式多租户的 SQL 网关，主要功能为接受用户的通过 JDBC/REST 等协议提交的 SQL 并根据多租户隔离策略路由给其管理的 SQL 引擎执行。在最新的 Kyuubi 1.8 版本，K...
原
荐
网易数帆王佰平晋升Envoy Proxy senior maintainer
数智时代，开源软件因成为企业竞争力的核心支撑获得了空前的关注，但在降本增效风暴席卷全球的今天，坚持投入开源是一件艰难的事情，而网易数帆一直活跃于开源路上。近日，Envoy 社区宣布，正...
原
荐
Apache Kyuubi & Celeborn (Incubating) 助力 Spark 拥抱云原生
本文整理自网易数帆软件工程师潘成，在 ASF CommunityOverCode Asia 2023（北京）的分享。本篇内容主要为：1）Spark 云原生的收益和挑战；2） 如何基于 Apache Kyuubi 构建统一 Spark 任务网...
原
荐
Slime开源meshregistry：化解服务网格多注册中心兼容之痛
背景 服务发现是微服务治理的核心环节。传统的微服务架构采用Consumer/Provider模式，Provider将服务信息注册到注册中心，Consumer通过注册中心发现Provider的服务信息。在云原生服务网格体系...
原
荐
Arctic 自动优化湖仓原理解析
Arctic 是一个开放式架构下的湖仓管理系统，在开放的 lceberg 数据湖格式之上， 提供更多面向流和更新场景的优化，以及一套可插拔的数据自优化机制和管理服务。 背景 湖数据与数据仓库都是常...
原
荐
Curve 文件存储在 Elasticsearch 冷热数据存储中的应用实践
Elasticsearch在生产环境中有广泛的应用，本文介绍一种方法，基于网易数帆开源的Curve文件存储，实现Elasticsearch存储成本、性能、容量和运维方面的显著提升。 ES 使用 CurveFS 的四大收益 ...
原
荐
新一代云原生日志架构 - Loggie的设计与实践
Loggie萌芽于网易严选业务的实际需求，成长于严选与数帆的长期共建，持续发展于网易数帆与网易传媒、中国工商银行的紧密协作。广泛的生态，使得项目能够基于业务需求不断完善、成熟。目前已经...
原
荐
扬州万方：基于申威平台的 Curve 块存储在高性能和超融合场景下的实践
背景 扬州万方科技股份有限公司主要从事通信、计算机和服务器、智能车辆、基础软件等产品的科研生产，是国家高新技术企业、专精特新小巨人企业、国家火炬计划承担单位。 业务介绍 申威处理器...
原
荐
Curve 块存储应用实践 -- iSCSI
Curve 是云原生计算基金会 (CNCF) Sandbox 项目，是网易数帆发起开源的高性能、易运维、云原生的分布式存储系统。 为了让大家更容易使用以及了解 Curve，我们期望接下来通过系列应用实践文章...
原
荐
多点DMALL × Apache Kyuubi：构建统一SQL Proxy探索实践
伴随着国家产业升级的推进和云原生技术成熟，多点 DMALL 大数据技术也经历了从存算一体到存算分离的架构调整变迁。本文将从引入 Kyuubi 实现统一 SQL Proxy 的角度讲述这一探索实践的历程。 ...
原
荐
创云融达基于 Curve 的智慧税务场景实践
业务背景 创云融达是一家以海量数据的存管用为核心，以企业级私有云建设能力为基础，并提供数据资产和数据中台产品和解决方案的高新技术企业。 近年来，为了优化人们纳税缴费的服务体验，各省...
原
荐
Curve 文件存储：如何支撑百亿级文件？
Curve 文件存储是一个 POSIX 兼容的分布式文件系统，适用于私有云、公有云、混合云环境。我们可以通过 Curve 文件存储轻松访问百亿级文件。 先对 Curve 文件存储的架构做一个简单的介绍。文件...
原
荐
网易传媒基于 Arctic 的低成本准实时计算实践
网易传媒大数据实际业务中，存在着大量的准实时计算需求场景，业务方对于数据的实效性要求一般是分钟级；这种场景下，用传统的离线数仓方案不能满足用户在实效性方面的要求，而使用全链路的实...
荐
Apache Kyuubi 在B站大数据场景下的应用实践
01 背景介绍 近几年随着B站业务高速发展，数据量不断增加，离线计算集群规模从最初的两百台发展到目前近万台，从单机房发展到多机房架构。在离线计算引擎上目前我们主要使用Spark、Presto、H...
原
荐
Arctic 基于 Hive 的流批一体实践
背景 随着大数据业务的发展，基于 Hive 的数仓体系逐渐难以满足日益增长的业务需求，一方面已有很大体量的用户，但是在实时性，功能性上严重缺失；另一方面 Hudi，Iceberg 这类系统在事务性，...
原
荐
从一名普通 Cepher 到 Curver 的转变史
写在前面 首先说明，我一直认为 Ceph 是一款非常优秀的开源存储软件，我接触 Ceph 也有好些年了，Ceph 除了为我带来知识上的收获，还为我带来生活上的温饱，所以我对 Ceph 充满了感恩与 Resp...
没有更多内容
加载失败，请刷新页面
删除文章
文章删除后无法恢复，确定删除此文章吗？
删除动弹
动弹删除后，数据将无法恢复
公众号
视频号
深圳市奥思网络科技有限公司版权所有
粤ICP备12009483号
评论删除后，数据将无法恢复