4万亿个晶体管90万个AI中心Cerebras第三代晶圆级AI芯片来了

  4万亿个晶体管，90万个AI中心，Cerebras第三代晶圆级AI芯片来了

  3月14日音讯，面临火爆的AI商场，新创AI芯片公司Cerebras Systems近来推出了其第三代的晶圆级AI芯片WSE-3，功能到达了上一代WSE-2的两倍，将用于练习业界一些最大的人工智能模型。

  据介绍，WSE-3依然是采用了一整张12英寸晶圆来制造，根据台积电5nm制程，芯片面积为46225平方毫米，具有的晶体管数量到达了4万亿个，具有90万个AI中心，44GB片上SRAM，全体的内存带宽为21PB/s，结构带宽高达214PB/s。使得WSE-3具有125 FP16 PetaFLOPS的峰值功能，比较上一代的WSE-2提升了1倍。

  作为比照，WSE-2芯片面积同样是46225平方毫米，根据台积电7nm制程，晶体管数量为2.6万亿个，AI内核数量为85万个，片上内存SRAM为40GB，内存带宽为20PB/s，结构带宽高达220PB/s。

  假如将其与英伟达的H100比较，WSE-3面积将是H100的57倍，内核数量是H100的52倍，片上内存是H100的880倍，内存带宽是H100的7000倍，结构带宽是H100的3715倍。

  与此同时，Cerebras还推出了根据WSE-3的CS-3超级核算机，可用于练习参数高达24万亿的人工智能模型，这比比较根据WSE-2和其他现代人工智能处理器的超级核算机有了严重腾跃。该超级核算机能支撑1.5TB、12TB或1.2PB的外部内存，这使它可以在单个逻辑空间中存储很多模型，而无需分区或重构，然后简化了练习进程，提高了研制人员的功率。

  最新的 Cerebras 软件结构可认为PyTorch 2.0 和最新的 AI 模型和技能（如多模态模型、视觉转换器、专家混合和分散）供给原生支撑。Cerebras 仍然是仅有为动态和非结构化稀少性供给本机硬件加快的渠道，比较英伟达的DGX-100核算机体系，将练习速度提高了8 倍。

  Cerebras还强调了CS-3杰出的电源功率和易用性。虽然功能翻了一番，CS-3仍保持着与前代产品相同的功耗。它还简化了大型言语模型（LLM）的练习，与GPU比较，所需代码减少了97%。例如，该公司表明，GPT-3巨细的模型在Cerebras渠道上只需要565行代码。

  就可扩展性而言，CS-3可以装备在多达2048个体系的集群中。这种可扩展性使其可以在四个体系的设置下，在一天内微调700亿个参数模型，并在同一时间段内全面从头开始练习Llama 70B模型。

  Cerebras表明，该公司已看到了外界对CS-3的巨大爱好，并有来自各个职业的很多订单积压，包含企业、政府和公有云厂商。Cerebras还与美国阿贡国家实验室和梅奥诊所等组织协作，强调了CS-3在医疗保健方面的潜力。

  Cerebras和G42之间的战略协作伙伴关系也将跟着Condor Galaxy 3的建造而扩展，这是一款人工智能超级核算机，具有64个CS-3体系（具有57600000个中心）。这两家公司已一起创建了世界上最大的两台人工智能超级核算机：CondorGalaxy1 （CG-1）和Condor Galaxy2（CG-2），它们坐落加利福尼亚州，综合功能为8个ExaFLOP。这一协作伙伴关系的方针是在全世界内供给数十个exaFLOP的人工智能核算。

  G42集团首席技能官Kiril Evtimov表明：“咱们与Cerebras的战略协作伙伴关系有助于推进G42的立异，并将有利于加快全世界内的人工智能革新。”。“Condor Galaxy 3是咱们的下一台人工智能超级核算机，具有8个exaFLOP，现在正在建造中，很快将使咱们体系的AI核算总产量到达16个exafloP。”

  *博客内容为网友个人发布，仅代表博主个人自己的观念，如有侵权请联络工作人员删去。