公众号文案
公众号文案
公众号文案 公众号文案 Modified March 3, 2025 ··· ··· 🔍详情 DeepSeek发布FlashMLA DeepSeek 开源的 FlashMLA 是针对 NVIDIA Hopper 架构的高效 MLA 解码内核，优化了长序列的推理速度，达到 3000 GB/s 内存带宽和 580 TFLOPS 计算性能。它的核心在于多头潜在注意力（MLA）加速解码，支持动态序列，完美应对复杂输入。 开源地址 GitHub deepseek ai/FlashMLA: FlashMLA: Efficient MLA Decoding Kernel for Hopper GPUs FlashMLA的主要特点包括： • 支持BF16和FP16精度：确保计算效率和数值稳定性。 • 分页KV缓存：采用块大小为64的分页KV缓存，提高内存利用效率，减少大规模模型的延迟。 • 卓越的性能指标：在H800 SXM5 GPU上，FlashMLA在内存受限配置中实现了高达3000 GB/s的内存带宽，在计算受限配置中达到了580 TFLOPS的计算性能。 这些特性使FlashMLA在AI推理任务中表现出色，特别是在需要处理长序列和高吞吐量的应用中。 DeepSeek开源DeepEP通信库 【25日】开源—款专为“混合专家模型”（MoE）和“专家并行”（EP）设计的通信库DeepEP，彻底革新了 GPU 的计算效率，让 AI 任务的性能更上一层楼。DeepEP 通过极致的内核优化、低延迟通信以及创新的通信 计算重叠方法，打破了硬件限制，真正让 AI 训练与推理迈向全新阶段。相较于 OpenAI 的营销战术，DeepSeek 选择了最直接的方式——开源即开箱即用，用代码说话，让所有开发者都能平等地探索 AI 未来。这不仅是技术的突破，更是开源精神的极致体现。 开源地址 GitHub deepseek ai/DeepEP: DeepEP: an efficient expert parallel communication library DeepEP 是一种用于高效、低延迟的通信库，通常应用于分布式系统中，尤其是在需要大量数据传输和低延迟通信的场景下。它可以提供高效的数据序列化、传输和处理能力，并且通常支持跨平台和多语言的接口，使得它可以在不同的系统之间进行通信。 DeepSeek推出DeepGEMM 【26日】DeepSeek 在开源周推出 DeepGEMM，这是一款专为 Hopper 架构 GPU 优化的矩阵乘法库，支持标准矩阵计算和混合专家模型，性能高达 1350+ FP8 TFLOPS。核心代码仅 300 行，极简高效，提升了 1.0 至 2.7 倍的运算速度。DeepGEMM 采用即时编译技术，便于学习 GPU 优化。 开源地址 GitHub deepseek ai/DeepGEMM: DeepGEMM: clean and efficient FP8 GEMM kernels with fine grained scal DeepGEMM 作为一个专注于优化矩阵运算的开源库，在最近的技术新闻中受到广泛关注。随着深度学习模型的逐渐增大，尤其是超大规模模型，矩阵乘法成为了训练和推理的瓶颈，而 DeepGEMM 的高效实现帮助解决了这个问题。通过硬件友好性、混合精度运算、跨平台支持等特点，它成为了深度学习框架和计算平台中不可或缺的一部分，提升了计算效率，降低了成本，并推动了 AI 技术的发展。 高效的矩阵运算加速 • 特点： DeepGEMM 针对不同硬件优化，提升矩阵乘法效率，减少计算瓶颈。 • 应用： 超大规模模型（如 GPT 4）训练中显著加快速度和响应时间。 硬件友好性和跨平台支持 • 特点： 支持 CPU、GPU、TPU 等多平台，优化计算性能。 • 应用： 许多研究团队和企业将 DeepGEMM 集成到训练流水线，降低硬件依赖，优化成本。 精度和性能的平衡 • 特点： 支持混合精度计算（FP16、BF16），在保证精度的前提下加速运算。 • 应用： 提升训练速度，减少内存占用，适用于大规模 AI 模型训练。 与深度学习框架的集成 • 特点： 与 TensorFlow、PyTorch 等框架无缝集成，优化矩阵运算。 • 应用： 云计算公司通过 DeepGEMM 优化平台，提供更快速的训练服务。 深度学习硬件与软件的协同创新 • 特点： 结合现代硬件（GPU、TPU）优化，推动硬件与软件协同创新。 • 应用： 硬件厂商与开源社区合作，推动 DeepGEMM 与硬件优势结合，提高计算效率。 DeepSeek发布DualPipe 【27日】DeepSeek AI 发布 DualPipe，一种全新的 双向流水线并行算法，显著优化大规模模型训练效率。相比传统 1F1B 和 ZB1P 方法，DualPipe 完全重叠前向与后向计算通信阶段，极大减少流水线中的“气泡”现象，使计算资源 几乎零闲置。在并行规模较大的场景下，该方法展现出 极高的计算效率提升，同时保持 PyTorch 2.0 及以上版本兼容性，开发者可轻松上手部署。DualPipe 这一突破性创新，为 AI 训练提速提供了全新解决方案，助力深度学习再攀高峰！ 地址 https://github.com/deepseek ai/eplb https://github.com/deepseek ai/DualPipe DeepSeek的技术架构，包括DualPipe和配套的支撑系统EPLB，以及优化工具profile Data，展现了其在高效大规模模型训练和推理方面的创新突破。以下是各项技术的具体解析： DeepSeek DualPipe（核心突破） 1. 通过将计算图拆分为数据并行通道和模型并行通道，该架构能够在计算和通信负载之间进行灵活调度。动态负载均衡算法的引入进一步提升了GPU/NPU的资源利用效率，避免了资源浪费，确保了计算和通信在不同硬件设备上的高效协作。 2. 在深度学习中，梯度同步是分布式训练中的关键问题，尤其在跨节点的数据传输中，通信带宽经常成为瓶颈。DeepSeek采用了混合精度通信协议，通过减少跨节点的数据传输量，从而提高了同步效率和模型训练速度。 3. 这一特性使得系统能够自动识别并适应不同的集群环境，如K8s（Kubernetes）或Slurm等。自适应拓扑感知机制能够根据不同的硬件和网络环境动态调整计算任务的分配和流水线架构，进一步提高系统的适应性和性能。 DeepSeek EPLB（支撑系统） • 弹性管道负载均衡器（Elastic Pipeline Load Balancer，EPLB）负责实时监控各计算节点的资源状态，如显存和带宽等多维度的指标。EPLB可以根据这些实时数据动态调整任务分配策略，确保双通道在整个训练过程中始终保持最佳工作状态，避免瓶颈，提升计算效率。 DeepSeek profile Data（优化利器） • DeepSeek收集了大量的硬件配置和运行数据，通过千万级硬件profile数据的积累，构建了一个决策数据库。该数据库能够为开发者提供针对不同硬件组合的最优超参推荐，大大加速了调优过程。借助这些优化建议，开发者可以更快速地实现模型性能的提升。 这些技术组合起来，帮助DeepSeek在分布式大规模深度学习训练中实现了更高的计算效率、更低的通信开销，并且提供了智能化的调优工具，使得整个训练过程更加高效和灵活。 DeepSeek发布3FS（Fire Flyer File System） 和 smallpond！ 【28日】最后一天，DeepSeek带来了Fire Flyer File System（简称3FS）和配套的数据处理框架Smallpond。专注于解决AI训练与推理中的数据访问和处理难题，以卓越的性能和简洁的设计，为开发者提供了一套经过生产环境验证的解决方案。 地址 http://github.com/deepseek ai/DualPipe… http://github.com/deepseek ai/smallpond… 3FS (Parallel File System) 3FS是一个高性能、并行的文件系统，旨在最大化现代SSD和RDMA网络的带宽。它的设计使得在大规模集群环境中能够获得显著的性能提升。具体性能表现如下： • 聚合读取吞吐量： 3FS在180节点集群上达到了6.6 TiB/s的读取吞吐量，展示了其卓越的扩展性和吞吐能力。 • GraySort基准测试： 在25节点集群上，3FS在GraySort基准测试中实现了3.66 TiB/分钟的吞吐量。 • KVCache查找： 在每个客户端节点上，3FS的KVCache查找性能可达到40+ GiB/s的峰值吞吐量。 这种文件系统的设计特别适合需要高带宽和低延迟的场景，特别是在大规模数据处理和存储的应用中。 Smallpond (Lightweight Data Processing Framework) Smallpond是建立在3FS之上的轻量级数据处理框架，具有以下特点： • 高性能、可扩展性和易用性： Smallpond继承了3FS的优势，提供了一个高效且易于使用的框架，支持大规模数据处理。 • 分解式架构： Smallpond结合了数千个SSD的吞吐量和数百个存储节点的网络带宽，使得应用程序能够以不受本地存储限制的方式访问存储资源。 • Strong Consistency 强一致性： Smallpond通过使用分配查询（CRAQ）实现链式复制，保证了强一致性，同时确保应用程序的代码简单易懂。 • 文件接口： Smallpond通过事务性键值存储（如FoundationDB）支持的无状态元数据服务，提供了熟悉的文件接口，减少了学习新的存储API的需求。 DeepSeek 开源周 Day 6 彩蛋：V3/R1 推理系统解析 【3月1日】DeepSeek 开源周真正的意义，藏在今天的彩蛋里：DeepSeek 官方团队在开源周 Day6 详细解读了 DeepSeek V3 / R1 推理系统的技术优化，核心目标是 提升吞吐量、降低延迟，从而 大幅提高推理效率和成本收益。团队通过 跨节点专家并行（Expert Parallelism，EP） 技术优化，使得 批处理规模（batch size）大幅提升，提高 GPU 计算效率和吞吐量。同时，EP 机制 分散专家模型计算至不同 GPU，减少单个 GPU 的计算负载和访存需求，从而 显著降低推理延迟。在这样的优化下，DeepSeek 预计 每日理论总收入可达 56.2 万美元，成本利润率高达 545%，展现了强劲的商业化潜力。 GitHub deepseek ai/FlashMLA: FlashMLA: Efficient MLA Decoding Kernel for Hopper GPUs GitHub deepseek ai/DeepEP: DeepEP: an efficient expert parallel communication library GitHub deepseek ai/DeepGEMM: DeepGEMM: clean and efficient FP8 GEMM kernels with fine grained scal http://github.com/deepseek ai/DualPipe… http://github.com/deepseek ai/smallpond… ··· ··· 🔍详情 DeepSeek发布FlashMLA DeepSeek 开源的 FlashMLA 是针对 NVIDIA Hopper 架构的高效 MLA 解码内核，优化了长序列的推理速度，达到 3000 GB/s 内存带宽和 580 TFLOPS 计算性能。它的核心在于多头潜在注意力（MLA）加速解码，支持动态序列，完美应对复杂输入。 开源地址 GitHub deepseek ai/FlashMLA: FlashMLA: Efficient MLA Decoding Kernel for Hopper GPUs GitHub deepseek ai/FlashMLA: FlashMLA: Efficient MLA Decoding Kernel for Hopper GPUs FlashMLA的主要特点包括： • 支持BF16和FP16精度：确保计算效率和数值稳定性。 • 分页KV缓存：采用块大小为64的分页KV缓存，提高内存利用效率，减少大规模模型的延迟。 • 卓越的性能指标：在H800 SXM5 GPU上，FlashMLA在内存受限配置中实现了高达3000 GB/s的内存带宽，在计算受限配置中达到了580 TFLOPS的计算性能。 这些特性使FlashMLA在AI推理任务中表现出色，特别是在需要处理长序列和高吞吐量的应用中。 DeepSeek开源DeepEP通信库 【25日】开源—款专为“混合专家模型”（MoE）和“专家并行”（EP）设计的通信库DeepEP，彻底革新了 GPU 的计算效率，让 AI 任务的性能更上一层楼。DeepEP 通过极致的内核优化、低延迟通信以及创新的通信 计算重叠方法，打破了硬件限制，真正让 AI 训练与推理迈向全新阶段。相较于 OpenAI 的营销战术，DeepSeek 选择了最直接的方式——开源即开箱即用，用代码说话，让所有开发者都能平等地探索 AI 未来。这不仅是技术的突破，更是开源精神的极致体现。 开源地址 GitHub deepseek ai/DeepEP: DeepEP: an efficient expert parallel communication library GitHub deepseek ai/DeepEP: DeepEP: an efficient expert parallel communication library DeepEP 是一种用于高效、低延迟的通信库，通常应用于分布式系统中，尤其是在需要大量数据传输和低延迟通信的场景下。它可以提供高效的数据序列化、传输和处理能力，并且通常支持跨平台和多语言的接口，使得它可以在不同的系统之间进行通信。 DeepSeek推出DeepGEMM 【26日】DeepSeek 在开源周推出 DeepGEMM，这是一款专为 Hopper 架构 GPU 优化的矩阵乘法库，支持标准矩阵计算和混合专家模型，性能高达 1350+ FP8 TFLOPS。核心代码仅 300 行，极简高效，提升了 1.0 至 2.7 倍的运算速度。DeepGEMM 采用即时编译技术，便于学习 GPU 优化。 开源地址 GitHub deepseek ai/DeepGEMM: DeepGEMM: clean and efficient FP8 GEMM kernels with fine grained scal GitHub deepseek ai/DeepGEMM: DeepGEMM: clean and efficient FP8 GEMM kernels with fine grained scal DeepGEMM 作为一个专注于优化矩阵运算的开源库，在最近的技术新闻中受到广泛关注。随着深度学习模型的逐渐增大，尤其是超大规模模型，矩阵乘法成为了训练和推理的瓶颈，而 DeepGEMM 的高效实现帮助解决了这个问题。通过硬件友好性、混合精度运算、跨平台支持等特点，它成为了深度学习框架和计算平台中不可或缺的一部分，提升了计算效率，降低了成本，并推动了 AI 技术的发展。 高效的矩阵运算加速 • 特点： DeepGEMM 针对不同硬件优化，提升矩阵乘法效率，减少计算瓶颈。 • 应用： 超大规模模型（如 GPT 4）训练中显著加快速度和响应时间。 硬件友好性和跨平台支持 • 特点： 支持 CPU、GPU、TPU 等多平台，优化计算性能。 • 应用： 许多研究团队和企业将 DeepGEMM 集成到训练流水线，降低硬件依赖，优化成本。 精度和性能的平衡 • 特点： 支持混合精度计算（FP16、BF16），在保证精度的前提下加速运算。 • 应用： 提升训练速度，减少内存占用，适用于大规模 AI 模型训练。 与深度学习框架的集成 • 特点： 与 TensorFlow、PyTorch 等框架无缝集成，优化矩阵运算。 • 应用： 云计算公司通过 DeepGEMM 优化平台，提供更快速的训练服务。 深度学习硬件与软件的协同创新 • 特点： 结合现代硬件（GPU、TPU）优化，推动硬件与软件协同创新。 • 应用： 硬件厂商与开源社区合作，推动 DeepGEMM 与硬件优势结合，提高计算效率。 DeepSeek发布DualPipe 【27日】DeepSeek AI 发布 DualPipe，一种全新的 双向流水线并行算法，显著优化大规模模型训练效率。相比传统 1F1B 和 ZB1P 方法，DualPipe 完全重叠前向与后向计算通信阶段，极大减少流水线中的“气泡”现象，使计算资源 几乎零闲置。在并行规模较大的场景下，该方法展现出 极高的计算效率提升，同时保持 PyTorch 2.0 及以上版本兼容性，开发者可轻松上手部署。DualPipe 这一突破性创新，为 AI 训练提速提供了全新解决方案，助力深度学习再攀高峰！ 地址 https://github.com/deepseek ai/eplb https://github.com/deepseek ai/DualPipe DeepSeek的技术架构，包括DualPipe和配套的支撑系统EPLB，以及优化工具profile Data，展现了其在高效大规模模型训练和推理方面的创新突破。以下是各项技术的具体解析： DeepSeek DualPipe（核心突破） 1. 通过将计算图拆分为数据并行通道和模型并行通道，该架构能够在计算和通信负载之间进行灵活调度。动态负载均衡算法的引入进一步提升了GPU/NPU的资源利用效率，避免了资源浪费，确保了计算和通信在不同硬件设备上的高效协作。 2. 在深度学习中，梯度同步是分布式训练中的关键问题，尤其在跨节点的数据传输中，通信带宽经常成为瓶颈。DeepSeek采用了混合精度通信协议，通过减少跨节点的数据传输量，从而提高了同步效率和模型训练速度。 3. 这一特性使得系统能够自动识别并适应不同的集群环境，如K8s（Kubernetes）或Slurm等。自适应拓扑感知机制能够根据不同的硬件和网络环境动态调整计算任务的分配和流水线架构，进一步提高系统的适应性和性能。 DeepSeek EPLB（支撑系统） • 弹性管道负载均衡器（Elastic Pipeline Load Balancer，EPLB）负责实时监控各计算节点的资源状态，如显存和带宽等多维度的指标。EPLB可以根据这些实时数据动态调整任务分配策略，确保双通道在整个训练过程中始终保持最佳工作状态，避免瓶颈，提升计算效率。 DeepSeek profile Data（优化利器） • DeepSeek收集了大量的硬件配置和运行数据，通过千万级硬件profile数据的积累，构建了一个决策数据库。该数据库能够为开发者提供针对不同硬件组合的最优超参推荐，大大加速了调优过程。借助这些优化建议，开发者可以更快速地实现模型性能的提升。 这些技术组合起来，帮助DeepSeek在分布式大规模深度学习训练中实现了更高的计算效率、更低的通信开销，并且提供了智能化的调优工具，使得整个训练过程更加高效和灵活。 DeepSeek发布3FS（Fire Flyer File System） 和 smallpond！ 【28日】最后一天，DeepSeek带来了Fire Flyer File System（简称3FS）和配套的数据处理框架Smallpond。专注于解决AI训练与推理中的数据访问和处理难题，以卓越的性能和简洁的设计，为开发者提供了一套经过生产环境验证的解决方案。 地址 http://github.com/deepseek ai/DualPipe… http://github.com/deepseek ai/DualPipe… http://github.com/deepseek ai/smallpond… http://github.com/deepseek ai/smallpond… 3FS (Parallel File System) 3FS是一个高性能、并行的文件系统，旨在最大化现代SSD和RDMA网络的带宽。它的设计使得在大规模集群环境中能够获得显著的性能提升。具体性能表现如下： • 聚合读取吞吐量： 3FS在180节点集群上达到了6.6 TiB/s的读取吞吐量，展示了其卓越的扩展性和吞吐能力。 • GraySort基准测试： 在25节点集群上，3FS在GraySort基准测试中实现了3.66 TiB/分钟的吞吐量。 • KVCache查找： 在每个客户端节点上，3FS的KVCache查找性能可达到40+ GiB/s的峰值吞吐量。 这种文件系统的设计特别适合需要高带宽和低延迟的场景，特别是在大规模数据处理和存储的应用中。 Smallpond (Lightweight Data Processing Framework) Smallpond是建立在3FS之上的轻量级数据处理框架，具有以下特点： • 高性能、可扩展性和易用性： Smallpond继承了3FS的优势，提供了一个高效且易于使用的框架，支持大规模数据处理。 • 分解式架构： Smallpond结合了数千个SSD的吞吐量和数百个存储节点的网络带宽，使得应用程序能够以不受本地存储限制的方式访问存储资源。 • Strong Consistency 强一致性： Smallpond通过使用分配查询（CRAQ）实现链式复制，保证了强一致性，同时确保应用程序的代码简单易懂。 • 文件接口： Smallpond通过事务性键值存储（如FoundationDB）支持的无状态元数据服务，提供了熟悉的文件接口，减少了学习新的存储API的需求。 DeepSeek 开源周 Day 6 彩蛋：V3/R1 推理系统解析 【3月1日】DeepSeek 开源周真正的意义，藏在今天的彩蛋里：DeepSeek 官方团队在开源周 Day6 详细解读了 DeepSeek V3 / R1 推理系统的技术优化，核心目标是 提升吞吐量、降低延迟，从而 大幅提高推理效率和成本收益。团队通过 跨节点专家并行（Expert Parallelism，EP） 技术优化，使得 批处理规模（batch size）大幅提升，提高 GPU 计算效率和吞吐量。同时，EP 机制 分散专家模型计算至不同 GPU，减少单个 GPU 的计算负载和访存需求，从而 显著降低推理延迟。在这样的优化下，DeepSeek 预计 每日理论总收入可达 56.2 万美元，成本利润率高达 545%，展现了强劲的商业化潜力。 💬概览 2月28日，DeepSeek连续五天的“开源周”正式收官，当天发布了全新的 Fire Flyer File System（简称 3FS）以及基于 3FS 的数据处理框架 Smallpond。DeepSeek 大模型对 3FS 的官方解读是：这是一款专为现代固态硬盘（SSD）和远程直接内存访问（RDMA）网络打造的高性能并行文件系统，目标是解决 AI 训练与推理工作负载下的存储瓶颈问题。 从 2 月 24 日起，DeepSeek 连续五天每天开放一个核心技术项目，涵盖从 AI 模型训练到文件系统优化等多个领域，为业界带来新的技术启发与创新思路。 第一天（2月24日）：DeepSeek发布了FlashMLA，这是一个用于优化显卡性能的解码核，旨在提升AI模型的训练和推理效率。 第二天（2月25日）：DeepSeek开源了DeepEP通信库，这是首个专为混合专家（MoE）模型设计的开源EP通信库，具有高效的全员通信、支持NVLink和RDMA等特性，有望降低计算消耗。 第三天（2月26日）：DeepSeek推出了DeepGEMM，这是一个支持密集和MoE GEMM的FP8 GEMM库，核心代码约300行，但性能提升显著，在Hopper GPU上实现了1350 TFLOPS的速度。 第四天（2月27日）：DeepSeek发布DualPipe：革新并行算法，效率飙升！一种全新的 双向流水线并行算法，显著优化大规模模型训练效率。 第五天（2月28日）：DeepSeek发布3FS（Fire Flyer File System） 和 smallpond！：专注于解决AI训练与推理中的数据访问和处理难题，以卓越的性能和简洁的设计，为开发者提供了一套经过生产环境验证的解决方案。 第六天（3月1日）：DeepSeek的彩蛋来了！开源周Day6，DeepSeek官方团队在开发者社区Github和知乎给出了DeepSeek V3/R1推理系统的技术解读。通过优化吞吐和延迟，DeepSeek理论上一天的总收入达到了562027美元，成本利润率为545%。 日期 发布内容 概述 2月24日 Day1：DeepSeek 发布 FlashMLA FlashMLA，这是一个用于优化显卡性能的解码核，旨在提升AI模型的训练和推理效率。 2月25日 Day2：DeepSeek 开源 DeepEP 通信库 首个专为混合专家（MoE）模型设计的开源 EP 通信库，提供高效的全员通信，支持 NVLink、RDMA 等，有望降低计算消耗。 2月26日 Day3：DeepSeek 推出 DeepGEMM 支持密集和 MoE GEMM 的 FP8 GEMM 库，核心代码约 300 行，但性能提升显著；在 Hopper GPU 上实现了 1350 TFLOPS 的速度。 2月27日 Day4：DeepSeek 发布 DualPipe 一种全新的双向流水线并行算法，显著优化大规模模型训练效率，效率飙升！ 2月28日 DeepSeek发布3FS和 smallpond！ 革新并行算法，效率飙升！一种全新的 双向流水线并行算法，显著优化大规模模型训练效率。 3月1日 Day6：DeepSeek 的彩蛋来了！ 官方团队在 Github 和知乎社区给出了 DeepSeek V3/R1 推理系统的技术解读；通过优化吞吐和延迟，实现了一天总收入 562027 美元、成本利润率 545% 的理论成绩。 日期 日期 发布内容 发布内容 概述 概述 2月24日 2月24日 Day1：DeepSeek 发布 FlashMLA Day1：DeepSeek 发布 FlashMLA FlashMLA，这是一个用于优化显卡性能的解码核，旨在提升AI模型的训练和推理效率。 FlashMLA，这是一个用于优化显卡性能的解码核，旨在提升AI模型的训练和推理效率。 2月25日 2月25日 Day2：DeepSeek 开源 DeepEP 通信库 Day2：DeepSeek 开源 DeepEP 通信库 首个专为混合专家（MoE）模型设计的开源 EP 通信库，提供高效的全员通信，支持 NVLink、RDMA 等，有望降低计算消耗。 首个专为混合专家（MoE）模型设计的开源 EP 通信库，提供高效的全员通信，支持 NVLink、RDMA 等，有望降低计算消耗。 2月26日 2月26日 Day3：DeepSeek 推出 DeepGEMM Day3：DeepSeek 推出 DeepGEMM 支持密集和 MoE GEMM 的 FP8 GEMM 库，核心代码约 300 行，但性能提升显著；在 Hopper GPU 上实现了 1350 TFLOPS 的速度。 支持密集和 MoE GEMM 的 FP8 GEMM 库，核心代码约 300 行，但性能提升显著；在 Hopper GPU 上实现了 1350 TFLOPS 的速度。 2月27日 2月27日 Day4：DeepSeek 发布 DualPipe Day4：DeepSeek 发布 DualPipe 一种全新的双向流水线并行算法，显著优化大规模模型训练效率，效率飙升！ 一种全新的双向流水线并行算法，显著优化大规模模型训练效率，效率飙升！ 2月28日 2月28日 DeepSeek发布3FS和 smallpond！ DeepSeek发布3FS和 smallpond！ 革新并行算法，效率飙升！一种全新的 双向流水线并行算法，显著优化大规模模型训练效率。 革新并行算法，效率飙升！一种全新的 双向流水线并行算法，显著优化大规模模型训练效率。 3月1日 3月1日 Day6：DeepSeek 的彩蛋来了！ Day6：DeepSeek 的彩蛋来了！ 官方团队在 Github 和知乎社区给出了 DeepSeek V3/R1 推理系统的技术解读；通过优化吞吐和延迟，实现了一天总收入 562027 美元、成本利润率 545% 的理论成绩。 官方团队在 Github 和知乎社区给出了 DeepSeek V3/R1 推理系统的技术解读；通过优化吞吐和延迟，实现了一天总收入 562027 美元、成本利润率 545% 的理论成绩。