distributed-llm-pretraining-torchtitan

Orchestra-Research/AI-Research-SKILLs/01-model-architecture/torchtitan

提供 PyTorch 原生分布式 LLM 预训练支持 4D 并行 8-512+GPU 规模 Float8 优化分布式检查点

Provides PyTorch-native distributed LLM pretraining using torchtitan with 4D parallelism (FSDP2, TP, PP, CP). Use when pretraining Llama 3.1, DeepSeek V3, or custom models at scale from 8 to 512+ GPUs with Float8, torch.compile, and distributed checkpointing.

把下面的话发给 Claude Code、Codex 或 Cursor。智能体会先检查内容，经你确认再安装。

请帮我安装这个 Agent Skill：https://github.com/Orchestra-Research/AI-Research-SKILLs/tree/main/01-model-architecture/torchtitan

1. 先读取该目录下的 SKILL.md 和其他文件，检查是否有可疑内容（执行未知脚本、读取密钥、向外发送数据等），用中文告诉我它会做什么、需要哪些权限；
2. 等我确认后，再把整个目录安装到 ~/.claude/skills/distributed-llm-pretraining-torchtitan/（如果你不是 Claude Code，安装到你自己约定的 skills 目录）；
3. 安装后告诉我怎么触发它。

安装到个人 Skill 目录（对所有项目生效）。只想在当前项目用，改为 .claude/skills/。

git clone --depth 1 --filter=blob:none --sparse https://github.com/Orchestra-Research/AI-Research-SKILLs.git /tmp/distributed-llm-pretraining-torchtitan-src
cd /tmp/distributed-llm-pretraining-torchtitan-src && git sparse-checkout set "01-model-architecture/torchtitan"
mkdir -p ~/.claude/skills && cp -r "01-model-architecture/torchtitan" ~/.claude/skills/distributed-llm-pretraining-torchtitan

Skill 可以让智能体执行脚本。安装第三方 Skill 前务必看一遍内容，详见「安全」一课。

SKILL.md

在 GitHub 查看

正在从 GitHub 读取……