optimizing-attention-flash

@braxtonrose4 · 收录于 1 周前

Optimizes transformer attention with Flash Attention for 2-4x speedup and 10-20x memory reduction. Use when training/running transformers with long sequences (>512 tokens), encountering GPU memory issues with attention, or need faster inference. Supports PyTorch native SDPA, flash-attn library, H100 FP8, and sliding window attention.

场景长序列训练显存不足推理加速

适合你，如果训练或推理长序列Transformer时遇到显存瓶颈

/ 下载安装

https://github.com/braxtonROSE4/zorro-agent/tree/main/optional-skills/mlops/flash-attention ↗

/ 通过 npx 安装 校验哈希

npx oh-my-skill add braxtonrose4/zorro-agent/optimizing-attention-flash

/ 通过 bash 安装

curl -fsSL https://oh-my-skill.com/install.sh | bash -s -- braxtonrose4/zorro-agent/optimizing-attention-flash

/ 已经装过?验证本机副本,不用重装

npx oh-my-skill verify braxtonrose4/zorro-agent/optimizing-attention-flash

安装目标可用 --agent / --scope 或 --to 明确指定;省略时只会在唯一已存在的 agent 目录上自动选择,零命中或多命中会停止并提示。content_hash 缺失或不一致均拒装。

7GitHub stars

~2.2K最小装载

~5.6K含声明引用

~5.6K文本包总量

索引托管

登录即可评论;带「已验证安装」的,是发布者名下有本店的安装或持有记录。

…