【48812】90万核、4万亿晶体管晶圆级芯片再进化！英伟达竞品推出第三代代码锐减97%GPT-3练习仅需565行！

  致力于开展人工智能超级运算的公司Cerebras Systems，、，近来又再次进化，推出了第三代晶圆级处理器WSE-3（Wafer Scale Engine 3）以及由该款芯片构成的CS-3 超级核算机体系。

  这是一款突破性的 AI 晶圆级芯片，其功能是其前身WSE-2的两倍。这款新器材采用了台积电5纳米工艺，包含 4 万亿个晶体管；90万个AI中心；44GB 片上 SRAM；峰值功能为 125 FP16 PetaFLOPS。Ceberas 的 WSE-3 将用于练习一些业界最大的人工智能模型。

  WSE-3 为 Cerebras 的 CS-3 超级核算机供给动力，该超级核算机可用于练习具有多达 24 万亿个参数的 AI 模型，这比由 WSE-2 和其他现代 AI 处理器供给动力的超级核算机完成了严重腾跃。该超级核算机可支撑 1.5TB、12TB 或 1.2PB 外部存储器，这使得它可以在单个逻辑空间中存储海量模型，而无需分区或重构，然后简化练习进程并进步研制人员功率。

  在可扩展性方面，CS-3可以装备为多达2048个体系的集群。这种可扩展性使其可以在一天内经过四体系设置微调 700 亿个参数模型，并在同一时间范围内从头开始全面练习Llama 70B 模型。

  最新的 Cerebras 软件结构供给对 PyTorch 2.0 的原生支撑，还支撑动态和非结构化稀少性，这能加快练习——比传统办法快八倍。

  Cerebras 强调了 CS-3 杰出的成效和易用性。虽然功能进步了一倍，CS-3 的功耗仍与其前身相同。它还简化了大型言语模型 (LLM) 的练习，与 GPU 比较，所需的代码减少了 97%。例如，据该公司称，GPT-3 巨细的模型在 Cerebras 渠道上只需要 565 行代码。

  该公司已看到了人们对 CS-3 的浓厚兴趣，而且具有来自各个部门（包含企业、政府和国际云）的很多积压订单。Cerebras 还与美国阿贡国家实验室和梅奥诊所等组织协作，强调了 CS-3 在医疗保健范畴的潜力。

  Cerebras 和 G42 公司之间的战略协作伙伴关系也将跟着 Condor Galaxy 3 的建造而扩展，Condor Galaxy 3 是一款人工智能超级核算机，装备 64 个 CS-3 体系（包含多达 57,60万个内核）。两家公司现已一起创建了国际上最大的两台人工智能超级核算机：Condor Galaxy 1 (CG-1) 和 Condor Galaxy 2 (CG-2)，它们坐落加利福尼亚州，综合功能为 8 ExaFLOPs。此次协作的方针是在全国际内供给数十 exaFLOP 的AI核算才能。

  G42 公司首席技能官 Kiril Evtimov 表明：“咱们与 Cerebras 的战略协作伙伴关系在推进 G42 立异方面发挥了及其重要的效果，并将为加快全国际内的人工智能革新做出奉献。Condor Galaxy 3 是咱们的下一代 AI 超级核算机，具有 8 exaFLOPs，现在正在建造中，很快将使咱们体系的 AI 核算总产量到达 16 exaFLOPs。”

  特别声明：以上内容(如有图片或视频亦包含在内)为自媒体渠道“网易号”用户上传并发布，本渠道仅供给信息存储服务。

  头号种子1轮游 世锦赛16强决出首席 9-6到9-10：新科国际冠军出局

  CBA季后赛：广东大胜广厦总分2-0赛点 周琦21+17胡金秋11+7伤退

  “高考让我走出大山，可大山外的国际却从未有人提及，更没人了解”｜新传考研经历帖

  15项改善！iPhone16和Plus版再次被揭秘，究竟值不值得等待？