文章列表

1.3k字1 分钟

# 模式图汇总 # HDFS # 架构图 # MapReduce # 架构图 # HDFS+MapReduce # Spark # 架构图 # Standalone 架构图 # Client # Cluster # Yarn # 架构图 # Yarn + MapReduce # Yarn + Spark # Cluster # Client # Flink # 架构图 / Standalone 架构图 # Yarn + Flink
38k字35 分钟

# Apache Flink流计算系统 # 基础概念与发展历程 # 什么是流计算 流计算（Stream Computing）：对连续不断产生的数据进行实时处理的计算模式。 生活类比： 批处理：像洗衣服，攒一堆脏衣服一起洗 流处理：像自来水净化，水源源不断流入，持续净化处理 # Flink发展时间线 timeline title Flink发展历程 2008 : 德国科学基金会资助Stratosphere项目 : Flink前身诞生 2015 : Google发表Dataflow模型论文 : Flink转向批流一体化 201
29k字27 分钟

# Yarn资源管理系统 # 核心概念：什么是Yarn # 生活比喻与专业定义 想象一个智能工厂管理系统： 有很多机器设备（服务器、计算节点） 每天接到各种订单（计算任务、应用程序） 需要合理分配工人和设备（计算资源：CPU、内存） 专业定义：Yarn（Yet Another Resource Negotiator）是Hadoop生态系统中的分布式资源管理器，实现了资源管理与作业管理的分离，为多种计算框架提供统一的资源调度服务。 # 设计背景：为什么需要Yarn # MapReduce 1.0的问题 graph TB subgraph "MapReduce 1.0问题&q
31k字28 分钟

# Apache Spark批处理系统 # 什么是Apache Spark # 简单理解 想象你要处理一个巨大的Excel表格（比如几百万行数据）： 传统方式：一行一行处理，很慢 Spark方式：把表格分成很多小块，多台电脑同时处理，速度快很多 # 官方定义 Apache Spark是一个快速、通用、可扩展的大数据处理引擎。 核心特点： 速度快：2014年用1/10的资源比Hadoop快3倍 易用性：支持Java、Scala、Python、R等多种语言 通用性：支持批处理、流处理、机器学习、图计算 容错性：自动恢复失败的任务 # Spark为什么诞生？MapReduce的局限
19k字17 分钟

# MapReduce批处理系统 # 设计思想与核心概念 # MapReduce vs MPI对比 MPI局限性： 编程复杂度高：程序员需要显式处理进程间通信和并行控制 容错能力弱：进程崩溃无法自动恢复，需要用户实现故障处理 MapReduce优势： 编程模型简化：封装了分布式通信接口，降低编程难度 自动容错机制：系统级别的故障检测和恢复，提高可靠性 资源管理自动化：无需手动管理计算资源分配 # 数据模型与计算模型 数据模型：将所有数据抽象为键值对(Key-Value)，通过键值对转换完成计算 逻辑计算模型： graph LR A[输入数据] --> B[Map阶段]
8.2k字7 分钟

# Hadoop 文件系统（HDFS） # 设计思想 # 历史背景 HDFS（Hadoop Distributed File System）起源于Doug Cutting在开发文本搜索库时的技术积累，诞生于2006年。Hadoop生态系统由两个核心组件构成： HDFS：分布式文件系统，负责海量数据的可靠存储 MapReduce：分布式计算框架，负责海量数据的并行处理 # 传统存储系统面临的挑战 在HDFS出现之前，传统文件系统面临着诸多挑战： 问题 具体表现 影响 存储容量限制 无法存储上百GB/TB级别的大文件 制约大数据应用发展 容错能力不足 集群系统容错率
3.1k字3 分钟

本文完全为应付期末考试所写，参考自往届学长的博客/Github Bruce-Jay Bruce-Jay的分布式系统习题讲解 HERODING23 HERODING23的分布式系统笔记 # 绪论 # 讲述分布式系统的概念 标答：分布式系统是若干独立计算机的集合，这些计算机对于用户来说就像是一个单机的系统。为了使用户在体验上觉得这是一个单机的系统，分布式系统常通过一个“软件层”组织而成。该软件层逻辑上位于由应用层组成的高层和于本地系统组成的低层之间，有
438字1 分钟

# Mingw64 配置 问题与该贴相同解决 Go 中使用 Sqlite 报错 go-sqlite3 requires cgo to work - 付小晨 配置参考最新！MinGW-w64的下载与安装（超详细！！！） - 知乎 # 下载 Releases · niXman/mingw-builds-binaries # 配置 参考图片
15k字13 分钟

# ShokaX 0.3.6 迁移 0.5.4 由于差异巨大，只得采取重新安装的方式 # 安装ShokaX pnpm add hexo-cli -g hexo init pnpm add hexo-theme-shokax node ./node_modules/hexo-theme-shokax/toolbox/hoistdep.mjs 同时为了方便管理，创建软链接 mklink /J .\themes\shokax .\node_modules\hexo-theme-shokax # 启用主题 删除根目录下的_config.landscap
11k字10 分钟

# 基础题 Text1 # 一、The new line is less about travelling through Devon than about travelling through time. 翻译要点：“less about...than about...” 译为 “与其说是…… 不如说是……”，Devon（德文郡，英国西南部旅游地）保留标准译名，补充 “空间”“维度” 使语义完整，最终译为 “这条新线路的意义，与其说是穿梭于德文郡（的空间），不如说是穿梭于时光（的维度）”。 语法结构：主系表句型，主语 “The new line”（新线路，名词短语），系动词 “is”