• 国内外主流大模型的全景是什么样？

• 目前主流的三大算力资源选择都有哪些？

• 如何搭建自己的AI生产力平台？

主流大模型一览

国内外大模型梳理

开源大模型总参量

算力硬件平台梳理

NVDIA系列

• 多元化的GPU产品线，满足不同场景下对算力的需求；

• CUDA能够让开发者使用C/C++直接调用GPU中的数千个核心来执行任务，而不必专门学习GPU底层复杂的硬件结构，这就让NVDIA在需要大量高性能计算场景（如科学计算、图像处理、机器学习、深度学习、大数据分析等。）表现十分出众。

• NVLink则让算力强劲的GPU更够更款速的互联，组成庞大的算力集群。

按应用领域梳理NVDIA的产品及其适用场景。

按照型号梳理NVDIA中用于AI的具体产品

• “GeForce”这个名称源自于NVIDIA在1999年举办的“Name That Chip”命名比赛，其中有人提出将其解释为“Geometry Force”，意为“几何力量”，突出了该系列GPU在3D几何运算（如变换和光照）上的强大性能。

• “RTX”被理解为代表“Real-Time Ray Tracing”（实时光线追踪），其中“RT”专指光线追踪功能，而“X”则带有强调“极致性能”或“eXtreme”的意味。也就是说，RTX显卡在硬件上集成了专门的RT核心，加速光线追踪运算，从而实现更真实的光影效果。

Apple系列

Cloud系列

搭建自己的AI生产力平台

推理场景

• 基础模型加载：FP16需14G。

• KV缓存（生成时动态占用）：
• 每Token缓存 ≈ 2 × 层数 × 隐藏维度 × 注意力头数。
• 示例：32层、4096隐藏维、32头 → 每Token约2MB，1k Token需2 GB。

• 总显存：模型加载 + KV缓存 ≈ 14 GB + 2 GB = 16 GB（FP16）。

• 计算量：每Token约2 × 参数量 FLOPs = 14 GFLOPs。

• A100理论峰值：312 TFLOPS → 22,285 Tokens/秒（实际受带宽限制约500-1000 Tokens/秒）。

预训练场景

• 参数+梯度：14 GB（FP16参数） + 14 GB（FP16梯度）= 28 GB。

• 优化器状态（Adam）：
• FP32参数副本：7B × 4字节 = 28 GB。
• 动量与方差：7B × 4字节 × 2 = 56 GB。
• 总计：28 + 56 = 84 GB。

• 中间激活值：与批次大小和序列长度相关。例如，序列长度2048+大批次可能占用数十GB。

• 总显存需求：28 GB（参数+梯度） + 84 GB（优化器） + 激活 ≈ 120-150 GB。

• 多GPU并行：使用ZeRO-3优化（DeepSpeed）分割优化器状态，显存需求可降至单卡约 20-30 GB。

• 推荐硬件：8×NVIDIA A100 80GB或4×H100 80GB，支持数据并行+ZeRO优化。

• 训练FLOPs ≈ 6 × 参数量 × Token数（如1T tokens） = 4.2e+22 FLOPs。

• GPU算力：A100 FP16算力≈ 312 TFLOPS，H100≈ 989 TFLOPS。

• 训练时间（8×A100）：
• 有效算力（考虑30%效率）：8 × 312e12 × 0.3 = 7.5e14 FLOPS。
• 时间 ≈ 4.2e22 / 7.5e14 ≈ 64万秒（约7.4天）。

• 不差钱的用户首推A100，这样既能满足训练也能用于推理。

• 资金有限的企业，比如中小企业，推荐专业级的显卡如A6000或者A100；对于追求大模型质量和性能的用户，还有一种方案是训练使用云算力的顶级配置，日常推理配合A6000或A100也是比较经济的一种方案。

模型量化

以4为量化法为例：

• 使用 llama.cpp 的 quantize 脚本转换为 4 位：

• 在 PyTorch 中使用 bitsandbytes 加载 4 位模型

最后

• GPU承担大规模并行计算：在AI时代，CPU更多承担的是模型的加载、预处理与任务调度，真正执行计算的是GPU。

• 模型参数与硬件内存、显存之间的关系：参数量级决定了大模型的智慧程度，内存决定了能加载多大的模型文件，显存决定了能运行多大的模型参数和中间结果。

• 模型训练更需资金实力：用于训练普遍需要更强的硬件，用于推理或者微调则对显卡的要求较小。