文档章节

CKafka 一站式搭建数据流转链路,助力长城车联网平台降低运维成本

腾讯云中间件
 腾讯云中间件
发布于 2023/12/01 10:34
字数 2430
阅读 21
收藏 0

关于长城智能新能源

长城汽车是一家全球化智能科技公司,业务包括汽车及零部件设计、研发、生产、销售和服务,旗下拥有魏牌、哈弗、坦克、欧拉及长城皮卡。2022年,长城汽车全年销售1,067,523辆,连续7年销量超100万辆。长城汽车面向全球用户提供智能、绿色出行服务,加速向全球化智能科技公司进阶,智能化车型渗透率达86.17%,车联网作为智能化两大应用方向之一,在这个过程中快速发展。

长城车联网平台涵盖车内总线数据上报、远程、车机配置下发、推送文件、推送消息、运营关怀等全新车联网业务,实现车机端和业务平台解耦并高效完成业务对接整合。

主要场景包括:

● 车端数据上报——电机、位置、发动机、整车数据、电池,报警等,通过 tbox 上报车联网平台,针对上报数据进行实时数据处理、计算、推理,以便提供车况查询、告警等智能化服务。

● 远程控制——手机 APP/智能设备集成车联网平台能力,实现远控、诊断。

以下是车联网平台架构图(示意)。

车联网平台架构图(示意)

爆炸式增长带来的挑战

车联网平台目前已接入数百万辆车,峰值在线达百万辆。车端上报信号数据量大、上传频率高,数据呈爆炸式增长,海量数据实时处理与分析面临严重挑战。

对系统提出以下要求:

1、处理时效要求高

查询时效性、分析决策、监控告警

2、数据量大,稳定

分布式、平行扩展、低耦合、高可用性、数据安全

物联网设备通常性能比较弱,很难去使用流行的传统的消息中间件。基本上 IOT 设备里面,都是用 MQTT 来去做消息的传输。但 MQTT 存在以下缺点:

1、只是排队,而不是流处理

2、无法处理使用量激增(没有缓冲)

3、大多数 MQTT 代理不支持高可伸缩性

4、异步处理(通常脱机很长时间)

5、缺乏与企业其他部分的良好集成

6、单一基础设施(通常位于边缘)

7、不能对事件进行再处理

只有 MQTT 数据有可能来不及处理就被丢掉,同时也满足不了海量数据实时处理与分析带来的挑战。

解决方案

作为分布式消息队列的 Kafka,因多分区、零拷贝、批处理、顺序读写等设计和特性能够实现高吞吐量的数据处理。同时作为一个事件流平台,它结合消息传递、存储和数据处理来构建高度可伸缩、可靠、安全和实时的基础设施。从车联网的角度来看具有以下优点:

1、流处理,不仅仅是排队

2、高吞吐量

3、大规模的

4、高可用性

5、长期存储和缓冲

6、再处理的事件

7、与企业的其他部分良好集成

Kafka 和 MQTT 的结合是构建可伸缩、可靠和安全的车联网基础设施的天成之选,因此长城车联网平台选择 Kafka 作为数据处理核心组件。

MQTT 的 Broker 集群后对接 Kafka 集群,先通过 MQTT 从设备采集数据,采集后再转储到 Kafka ,供后续引擎分析处理。即使处理的速度没有采集的速度快,数据也不会丢失,因为已转储到 Kafka ,长城正是用这种方案实现了车联网设备状态的持续监控和分析。

但自建 Kafka 带来日益加重的研发和运维成本:

首先,解决问题的研发运维人员需要具备扎实的计算机功底(熟悉计算机网络、IO 等),需对 Kafka 的底层原理、各种配置参数项等具有深刻理解,可以进行 Kafka 集群参数调优,快速处理突发故障、恢复集群抖动和动态进行集群扩缩容等。

其次,一方面需要投入更多的人力、物力成本,另一方面 需要时刻监控集群的健康状况,及时排除问题以保障业务的稳定运行。

最后,自建消息队列在扩展性、可维护性能方面存在不足,当业务的消息数据量到达一定程度后,自建的消息队列集群就会引发各种各样的问题,问题的解决又带来很大的挑战。

举几个简单例子:

● 集群发生异常时,因为监控指标不全,日志输出不合理等原因,排查定位问题困难。只能靠暂停业务、重启 Kafka 集群解决问题,对业务影响较大。

● Kafka 的集群扩容复杂度高,在业务高峰进行迁移的时候,出现分区迁移卡死。

● 自建集群的 ZK 运维难度大,ZK 负载高,导致ZK频繁断连。

与腾讯云技术团队沟通, CKafka(Cloud Kafka)作为云上Kafka版本,具有完善的监控告警系统和运维工单系统,在性能、扩展性、业务安全保障、运维等方面具有很强优势,可以在享受低成本、高性能、丰富功能的同时,免除繁琐运维工作。

车联网平台利用高性能、高吞吐、可拓展的分布式消息队列引擎 CKafka,实现业务解耦、削峰填谷、数据的异步处理,达到业务的高可靠性。

数据上报场景

车辆产生的实时数据(如 GPS 位置、速度、油耗等)通过 CKafka 进行收集、传输、分发,实现一份数据多个流向满足多个场景需求。

实时计算部分

通过 Flink 提供的 Kafka 连接器,流数据经过 Flink 算子进行处理落入高性能列式数据库Clickhouse,用于实时更新数据的分析。该流程可提供一次精确的处理语义,同时 CKafka 多分区提供更高的吞吐量,减少数据倾斜和热点。

车辆故障、异常行为等车辆的状态数据,通过实时分析可以快速发现并处理车辆的问题。

离线分析部分

通过 Flume 等日志收集系统,可将 CKafka 中海量日志数据进行高效收集、聚合、移动,最后存储到 HDFS 或者 Hbase。在生产处理环节中,当生产与处理速度不一致时,CKafka 可以充当缓存角色。 拥有 Partition 结构以及采用 Append 追加数据,使 CKafka 具有优秀的吞吐能力;同时其拥有 Replication 结构,使 CKafka 具有很高的容错性。

车辆数据经过离线分析和挖掘,分析结果可以用于优化车辆性能、提高驾驶安全、降低能耗等。

指令下发场景

在指令下发场景中,CKafka 承接远程指令和响应结果,为上下游多个系统提供异步接耦、削峰填谷的能力,同时消息持久化及可回溯的产品特性能保障指令状态的最终一致性。

使用 CKafka 后的业务收益

与自建 Kafka 相比,CKafka 有完善的监控告警系统和运维工单系统,CKafka 研发专家随时答疑解惑,迅速解决客户问题,省心省力。

CKafka 在性能、扩展性、业务安全保障、运维等方面具有超强优势,让客户在享受低成本、超强功能的同时,免除繁琐运维工作。当 CKafka 集群的流量和磁盘容量超过告警阈值,后端会及时扩容设备对客户端无感知,解决开源 Kafka 长期以来迁移数据的痛点,配置升级无感知,轻松应对业务高峰。

除了可拓展性之外,Ckafka 支持同地域自定义多可用区部署,跨地域灾备,提升业务容灾能力。

未来展望

针对降低存储成本、快速应对突发流量峰值的两个核心诉求,CKafka 将演进按量存储形态,并推出弹性带宽能力。

● 按量存储

按照实际使用存储空间弹性计费,无需考虑预留存储空间,更加灵活易运维,且成本更低。

● 弹性带宽

在既定带宽规格上,提供一定范围的上浮空间(即弹性能力)。

若遇到突发的流量毛刺,集群不会触发限流,而是在规定范围内弹性扩缩容,超出原有带宽部分的流量按量计费。

通过合理的架构设计和灵活的产品能力,CKafka 帮助用户在云上以更低成本托管高吞吐、高可用、易用免运维的消息队列 Kafka 服务,一站式搭建数据流转链路。后续也期待与出行行业客户有更多合作,分享更多云上最佳实践。

腾讯云中间件

腾讯云中间件

粉丝 309
博文 289
码字总数 514184
作品 2
深圳
私信 提问
加载中
点击引领话题?
AI云增强升级!还原生动人像,拍出质感照片

近期不少细心用户发现,在用HUAWEI Mate 60 Pro手机拍照后,使用相册中的AI云增强功能,照片变得更加细腻有质感。这是因为AI云增强升级并更新支持了人像模式拍摄的照片,高清自然的人像细节还...

HarmonyOS SDK
今天
8
0
云计算 - 以阿里云为例,企业上云策略全览与最佳实践

云采用框架(Cloud Adoption Framework,简称CAF)为企业上云提供策略和技术的指导原则和最佳实践,帮助企业上好云、用好云、管好云,并成功实现业务目标。本云采用框架是基于服务大量企业客...

techlead_krischang
今天
5
0
动手实践丨轻量级目标检测与分割算法开发和部署(RK3568)

本文分享自华为云社区《自动驾驶(AIOT) - 轻量级目标检测与分割算法开发和部署(RK3568)【玩转华为云】》,作者:HouYanSong。 本文将在ModelArts平台上开发轻量级目标检测与分割算法,并使用...

华为云开发者联盟
今天
75
0
大模型如何助力开发者打造新质生产力

在当今的AI编程时代,大模型已经成为了推动技术进步和产业变革的重要力量。大模型,即大型神经网络,具有海量的参数和复杂的结构,能够处理更广泛、更复杂的任务。随着数据集的扩大和计算能力...

百度开发者中心
今天
8
0
2024首场沙龙|上海 · 得物技术沙龙-「稳定生产」专场报名开启!

在互联网业界,伴随业务需求更新、用户流量增长、创新技术迭代,稳定性一直是十分复杂且极具挑战性的课题。近年业界发生较多Bad case,得物技术团队迎难而上,通过制定年度全局目标、持续技术...

得物技术
今天
8
0

没有更多内容

加载失败,请刷新页面

加载更多

{{formatHtml(o.title)}}

{{i}}-{{formatHtml(o.content)}}

{{o.author.name}}
{{o.pubDate | formatDate}}
{{o.viewCount | bigNumberTransform}}
{{o.replyCount | bigNumberTransform}}

暂无文章

便宜云服务器
登录后可查看更多优质内容
返回顶部
顶部
http://www.vxiaotou.com