。
方豫是在周芯国际完成第一批橘核芯片的交货并安装到服务器集群后才启动的八万亿参数私密大模型的训练。
否则且不说数亿大周币的耗电量会不会因此引起有心人的怀疑,也不提方豫根本没有那么多M60芯片,就算有,目前柚子科技园机房的电网也无法承受数十兆瓦量级的负载。
而有了橘核芯片,依靠仅相当于M60五分之一的电量消耗,就实现了相较M60十五倍以上的算力提升!(橘核的标准功耗23W未含显存功耗,包括显存功耗情况下是67W)
也正是因为柚子科技在产业园内布置了首批一万两千张橘核芯片,柚子才能在二十天之内就完成了满血版八万亿参数橘子大模型的预训练。
目前存在四个不同版本的橘子大模型,性能最强的是方豫私密服务器中的八万亿参数大模型,这个大模型已经完全实现了AGI,目前只差分布式小模型的实时数据训练的推动,就能够彻底进化为ASI。
其次是柚子科技内部在研发尚未公开发布的3.8版本,目前这个版本也已经实现了AGI,所差的只是在多行业内的应用实训而已。
然后才是公开收费发布的2.5N版,最后是开源的1.99DEC版。
如果不算上方豫私密服务器中的满血八万亿大模型,柚子科技内部的3.81版本橘子大模型,就是这个世界上最强大模型,并且把第二名远远抛在后面。
前一周,FB公布了他们加急开发的“番茄”大模型,号称达到了4000亿级别的参数量,同时开源了参数量大约为40亿和80亿的两个略小的大模型,可以布置在小型服务器或台式机上。
FB还宣称,他们的4000亿参数的番茄大模型在目前由伯克利和卡内基梅隆大学合作开发的大模型竞技场中得分全面超过juzi2.5N版本。
当然,这个大模型同样应用的是柚子架构,对这一点FB倒是没做什么隐瞒,毕竟现在行业中除了古狗外,其他所有公司用的都是柚子架构。
就算是古狗,没有用柚子架构,但其自行推出的“hugging”大模型架构同样使用了柚子科技开源的部分技术。
但实际上,经过许多从业者的实测,FB应该是针对竞技场做了针对性优化,从而提高了竞技场得分。
在实际应用上,“番茄”大模型的生成能力和推理能力都弱于收费版的Juzi2.5N。
而且差的不是一点半点。
本章未完,请点击下一页继续阅读!