博客园

大数据 Hadoop 管理工具 Apache Ambari和 HDP

Apache Ambari 是 Hortonworks 贡献给Apache开源社区的顶级项目,它是一个基于web的工具,用于安装、配置、管理和监视 Hadoop 集群。 Ambari 目前已支持大多数 Hadoop 组件,包括 HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop 和 Hcatalog 等。
Ambari
头像随风 发布于2024年08月16日
347浏览

一文看懂 CDH、HDP、CDP 及HiDataPlus

CDH和HDP侧重的技术领域,目前市面上主流CDH和HDP版本的关键时间点,CDP 介绍。继HDP后的HiDataPlus介绍。
HiDataPlus
头像随风 发布于2024年08月16日
1129浏览

基于Seatunnel最新2.3.5版本分布式集群安装部署指南(小白版)

帮助新手用户快速搭建Seatunnel的运行测试环境。
SeaTunnel
头像如风掠过指尖 发布于2024年08月16日
927浏览 1点赞

一个云时代的文件管理软件,支持多种存储,Star 40K+!

一个云时代的文件管理软件,支持多种存储,Star 40K+!
有趣的开源集市
头像开源集市 发布于2024年08月15日
217浏览

HDP3.3.2.0-011版本公测,Seatunnel ↑2.3.6,DS↑3.2.2,HBase↑2.5.10等9个组件升级

新增Prometheus Node Exporter(主机监控)和Pushgateway(可以用于Flink等),使用方式会延续《Zookeeper+Prometheus+Grafana》这个系列做专题介绍。
HiDataPlus升级
头像大象 发布于2024年08月15日
460浏览

Dinky手把手教程-Docker快速部署

Docker快速启动dinky
Dinky
头像墨无痕 发布于2024年08月15日
1010浏览 1点赞

Dinky手把手教程 - 集成K8s,提交Flink On K8s Application任务

本文介绍了Dinky与K8s集成指南,包括环境准备、服务账号创建、镜像制作、Dockerfile编写、镜像构建推送、Kubernetes集群配置,以及FlinkSQL任务的提交。
Dinky
头像墨无痕 发布于2024年08月14日
1044浏览 1点赞

Dinky手把手教程 - 连接Flink Sql Cli控制台

flink sql cli是flink 提供的一个sql执行工具,可以方便的进行sql预览,执行等操作,现在,Dinky也可以直接快捷连接使用啦
Dinky
头像墨无痕 发布于2024年08月14日
821浏览

海豚调度清理:使用 API 轻松清理历史工作流实例以及日志文件

本系列文章是 DolphinScheduler 由浅入深的教程,涵盖搭建、二开迭代、核心原理解读、运维和管理等一系列内容。适用于想对 DolphinScheduler了解或想要加深理解的读者。**
Dolphinscheduler
头像Dataops 发布于2024年08月14日
660浏览 1点赞

HBase 在统一内容平台业务的优化实践

HBase是一款开源高可靠性、扩展性、高性能和灵活性的分布式非关系型数据库,本文围绕数据库选型以及使用HBase的痛点展开,从四个方面对HBase的使用进行优化,取得了一些不错效果。
Hbase
头像车车 发布于2024年08月13日
155浏览

Gartner分析:数据中台即将消亡

在新发布的“中国数据分析和人工智能技术成熟度曲线图”中, Gartner认为,“数据中台(Data Middle Office)”即将消亡,取而代之的是“数智基建”(Data Infrastructure)。 数智基建与数据中台的巨大差异,导致了这一转变的发生。
PowerData数据仓库/中台
头像忆往昔 发布于2024年08月13日
676浏览 1点赞

一个关于image访问图片跨域的问题

项目中遇到一个问题,同一个图片在 dom 节点中使用了 'img' 标签来加载,同时由于项目使用了 ThreeJS 3D 渲染引擎,在加载纹理时使用了 TextureLoader 来加载了同一张图片,而由于图片是在阿里云服务器上的,所以最后报出了如下错误,意思是在访问图片时出现了跨域问题
Web前端实现
头像梦想家 发布于2024年08月13日
378浏览 1点赞

猪脸识别、自动投喂!Apache DolphinScheduler还能做这些?

数字化转型提速中!传统农牧食品行业也寻求搭上数字化转型的快车,通过物联网、大数据、人工智能等现代信息技术,实现生产、加工、流通等环节的智能化和自动化,提高生产效率、优化资源配置、提升产品质量,并满足消费者对食品安全和可追溯性的需求。
DolphinschedulerPowerData
头像Dataops 发布于2024年08月13日
150浏览 1点赞

一文了解数据湖变更数据捕获

更改数据捕获 (CDC) 是一种用于识别和捕获数据更改的技术,可确保数据在各种系统中保持新鲜和一致。将 CDC 与数据湖相结合,可以解决 ETL 管道将数据从事务数据库传送到分析数据库时通常面临的几个挑战,从而显著简化数据管理。其中包括保持数据新鲜度、确保一致性以及提高数据处理效率。本文将探讨数据湖和 CDC 之间的集成、它们的优势、实施方法、涉及的关键技术和工具、最佳实践以及如何选择适合需求的工
Hudi
头像忆往昔 发布于2024年08月13日
161浏览

浅谈Elasticsearch的入门与实践

本文主要围绕ES核心特性:分布式存储特性和分析检索能力,介绍了概念、原理与实践案例,希望让读者快速理解ES的核心特性与应用场景。
Elasticsearch
头像忆往昔 发布于2024年08月13日
164浏览

一个能让你和数据库对话的软件,文本直接生成SQL和分析图表,Star 10K+!

一个能让你和数据库对话的软件,文本直接生成SQL和分析图表,Star 10K+!
有趣的开源集市
头像开源集市 发布于2024年08月13日
529浏览 3点赞

Seatunnel-Web环境搭建

Seatunnel-Web手把手安装部署文档
SeaTunnel
头像月影幽篁 发布于2024年08月12日
692浏览 2点赞 1收藏

基于 tugraph-analytics 的实时业务数据异常归因诊断

本文将分享货拉拉基于 tugraph-analytics 的实时业务数据异常归因诊断技术。 Tugraph-analytics 是蚂蚁开源的一个高性能流图计算引擎,支持万亿级数据的存储,具备图表混合处理、实时图计算,以及 OLAP 等核心能力。
数据仓库/中台数据平台架构
头像随风 发布于2024年08月12日
335浏览 2点赞

58用户画像数据仓库建设实践

大家好,我是来自 58 同城的包磊,于 18 年加入了 58,目前所在部门是 TEG-大数据科学中心-数据 BP 部。主要负责建立整个集团的用户数据体系,涵盖了流量、连接、用户画像等主题数仓的建设。
用户画像PowerData数据仓库/中台
头像随风 发布于2024年08月12日
659浏览

蚂蚁指标系统的设计与实践

本次分享人为蚂蚁集团的王高航老师,分享题目为蚂蚁指标系统的设计与实践,王高航老师自 2016 年加入蚂蚁集团以来,一直在数据中台领域深耕。在此期间,参与了蚂蚁新老两代数据平台的研发并主导了多个核心子产品。目前,王高航老师负责蚂蚁数据中台的数据架构与治理、数据建模、资产管理、安全合规等产品的研发。
数据分析数据仓库/中台数据治理PowerData
头像随风 发布于2024年08月12日
210浏览
1 404142434482

微信(交流/反馈)

巨人肩膀初心:站在巨人肩膀上,避免无谓的重复劳动。 生产和汇聚行业技术、 知识经验、 工具组件 、案例产品,提供相关环境,为开发者提高生产效率提供切实有效的支持和帮助。并在这一进程中实现多方共赢。

©2023-2026 - 巨人肩膀 - 粤ICP备2025395551号-1