AI A100
微调与推理
- NVIDIA A100
- 80 GB HBM 显存
- 16 个 vCPU 核心
- 120 GB 内存
- 1 TB NVMe Gen4
- 预装 CUDA + cuDNN
- PyTorch 与 TensorFlow 就绪
- GPU 完全独享
NVIDIA A100 与 H100,预装 CUDA、PyTorch 和 TensorFlow,GPU 之间通过 NVLink 互联——几分钟内即可开始训练模型,而不是等上几天。GPU 完全独享。
首次开机即可使用 CUDA
从轻量级推理到大规模 LLM 训练——GPU 完全独享,绝不共享,绝不分时。
微调与推理
大规模模型训练
多 GPU NVLink 架构
所有套餐软件环境相同——按显存、TFLOPS 算力和互联方式挑选。
| 功能 | AI A100 | AI H100 | AI 集群 |
|---|---|---|---|
| GPU | |||
| GPU 型号 | A100 80GB | H100 80GB SXM | 4× H100 SXM |
| 显存 | 80 GB HBM2e | 80 GB HBM3 | 320 GB HBM3 |
| FP16 算力 | 312 TFLOPS | 1,979 TFLOPS | 7,916 TFLOPS |
| NVLink 互联 | ✓ | ✓ | |
| 计算 | |||
| vCPU 核心数 | 16 | 26 | 96 |
| 系统内存 | 120 GB | 200 GB | 768 GB |
| 存储与网络 | |||
| NVMe Gen4 存储 | 1 TB | 2 TB | 8 TB |
| 网络 | 10 Gbps | 10 Gbps | 25 Gbps |
| 软件 | |||
| 预装 CUDA + cuDNN | ✓ | ✓ | ✓ |
| PyTorch 与 TensorFlow 就绪 | ✓ | ✓ | ✓ |
| Docker + NVIDIA 工具包 | ✓ | ✓ | ✓ |
| 管理 | |||
| 完整 Root 权限 | ✓ | ✓ | ✓ |
| 快照 | ✓ | ✓ | ✓ |
| 阿拉伯语和英语双语面板 | ✓ | ✓ | ✓ |
| 专属工程师 | ✓ | ||
AI 行业公认的标准 GPU——完全为您独享,绝不拆分,绝不分时共享。
适用于:模型微调、生产环境推理、中等规模训练
适用于:大规模 LLM 训练、多 GPU 集群、科研场景
我们的 GPU 集群每天承载的五种典型工作负载——软件环境已提前配好。
决定您训练时长的关键数据——实测得出,绝非空谈。
无需查找驱动,无需在 CUDA 版本间挣扎——开机、激活环境,即可开始训练。
GPU 一旦"喂不饱"就是浪费——数据通道必须跟得上。
训练数据与模型权重是您的商业机密——我们如此对待它们。
AI 服务器部署于我们位于欧洲的数据中心。下列数据中心今天即可订购。
在 A100 上用不到 8 小时完成了 Llama 3 70B 的微调——NVLink 让多 GPU 训练真正做到了无缝衔接。
生产环境推理请求量达每分钟 1 万次——即使在峰值时延迟也从未超过 180 毫秒。
从某云计算巨头迁移过来——在算力(TFLOPS)相同的情况下,每月训练成本节省了 35%。
是的——CUDA Toolkit 与 cuDNN 出厂预装,并与驱动版本精确匹配。PyTorch 和 TensorFlow 首次开机即可识别 GPU。
H100 是更新一代产品:FP16 算力约为 A100 的 6 倍(1,979 对比 312 TFLOPS),HBM3 显存更快(3.35 对比 2 TB/s),Transformer 引擎也更强大。A100 在微调和推理场景中依然极具性价比。
可以——Docker 及 NVIDIA Container Toolkit 已就绪,`--gpus all` 可直接使用,方便搭建可复现的训练环境。
可通过 10–25 Gbps 网络,使用 rsync/scp 或对象存储工具传输。在较大规格的套餐上,1 TB 数据集传输远用不到半小时。
可以——AI 集群套餐通过 NVLink 以 600 GB/s 连接 4 块 H100,专为分布式训练调优。更大规模的架构请联系销售团队。
JupyterLab 一条命令即可安装,面板的快速入门指南中已有说明——许多团队会将其运行在内置防火墙规则之后。
A100(HBM2e)与 H100(HBM3)均配备 80 GB 显存——足以在量化后进行 700 亿参数模型的推理,或结合模型并行进行训练。
完全独享——没有 MIG 切分,没有分时复用,没有共享。在 nvidia-smi 中显示的 GPU 完完全全属于您,因为它本来就是。
可在训练里程碑处为服务器创建快照,或将检查点同步到对象存储——两种方式在面板中均有详细说明。
目前为法兰克福(FRA-1)和赫尔辛基(HEL-1)——均为符合 GDPR 的欧盟地区。新地区上线会在数据中心页面公布。
可以——将端口部署在云防火墙和 DDoS 防护之后即可对外提供。许多客户直接从其 AI 服务器提供生产环境流量服务。
有——所有 GPU 套餐按年计费均可节省 15%。
多 GPU 架构由我们的工程师按需定制规模——GPU、互联、存储与网络会作为一个整体方案统一报价。
暂不支持——所有 GPU 服务器均为预留且持续运行。如需应对突发工作负载,按月计费并可随时取消能为您保留灵活性。
A100 和 H100 服务器通常在下单后几分钟内即可上线;集群则会由工程师在 1–2 个工作日内完成部署。
这是我们最常见的工作负载。单块 A100 80GB 即可轻松使用 LoRA 或 QLoRA 微调 70 亿至 130 亿参数的模型;更大模型的全精度微调则建议使用 H100 或搭配 NVLink 的多 GPU 方案。数据集可暂存于本地 NVMe 暂存空间,检查点可推送到任意兼容 S3 的存储,预置的 PyTorch 环境让您在第一个小时内就能从分词器一路走到训练。
CUDA 就绪,PyTorch 已装好,GPU 完全归您独享。几分钟即可完成首轮训练——无需漫长的搭建过程。
A100 最低 $1,199/月起——按年计费可节省 15%。Welcome! Please note that our website is currently in its beta phase. We are delighted to have you browse our site and explore our products, but we kindly apologize that we cannot accept or process any orders at this time. Thank you for your patience and understanding until our official launch soon.