Huawei PanGu-Σ: обзор модели
Huawei PanGu-Σ (PanGu Sigma) — крупномасштабная языковая модель со спарс-архитектурой, созданная для эффективного обучения и последующего развертывания под конкретные домены и задачи. Основа подхода — сочетание плотных (shared) слоёв Transformer и…