基础

一、存储基本概念

存储是用于保存数据的硬件或软件系统，在大模型开发中，它负责存储训练数据、模型参数、中间计算结果等关键信息，是整个开发流程顺畅运行的基础支撑。

二、主要存储类型介绍

（一）文件存储

• 特点：采用树形目录结构管理文件，如同电脑中的文件夹和文件，具有良好的兼容性和易用性，支持文件级别的共享和访问控制。

• 适用场景：适用于需要频繁进行文件共享、协作编辑的场景，比如大模型开发中的代码文件管理、文档存储等。

（二）块存储

• 特点：将数据分割成固定大小的块进行存储，每个块有独立的地址，性能较高，可直接被操作系统视为物理硬盘使用。

• 适用场景：常用于对性能要求较高的场景，像大模型训练时的高速数据读写、数据库存储等。

（三）对象存储

• 特点：以对象为单位存储数据，每个对象包含数据、元数据和唯一标识符，可扩展性极强，能轻松应对海量数据存储。

• 适用场景：适合存储海量非结构化数据，例如大模型训练所需的图片、音频、视频等训练数据。

三、存储性能指标介绍

（一）吞吐量

指单位时间内能够传输的数据量，单位通常为 MB/s 或 GB/s，直接影响数据传输的效率，在大模型处理大量数据时尤为重要。

（二）IOPS（每秒输入 / 输出操作数）

表示每秒能执行的读写操作次数，对于随机读写频繁的场景（如数据库操作），高 IOPS 能显著提升性能。在介绍完吞吐量和IOPS这两个存储性能指标后，为了自然过渡到延迟和带宽的介绍，需要对已讲指标进行简要总结，并引出后续指标。可以先点明这两个指标对存储性能的重要性，再说明还有其他关键指标。

在大模型开发与应用过程中，吞吐量和IOPS是衡量存储系统性能的重要标尺，它们从数据传输量和操作频次维度，保障了数据处理的高效运行。然而，要全面评估存储性能，还有两个不可或缺的关键指标需要了解。

（三）延迟

指从发出读写请求到收到响应的时间，单位通常为毫秒或微秒，低延迟是保证实时性操作的关键，比如大模型实时推理时的数据访问。

（四）带宽

与吞吐量相关，指数据传输的速率，决定了数据在存储系统和其他组件之间传输的快慢，影响整体数据处理效率。