{dede:global.cfg_webname/}

当前位置: 首页 > 科技 > 头条 > 正文

预测超长蛋白质这事,CPU赢了

来源:量子位    时间:2023-06-30 20:21:07

  6月30日,AI模型的推理在CPU上完成加速和优化,竟然不输传统方案?

  至少在生命科学和医疗制药方向,已经透露出这种信号。

  例如在处理AlphaFold2这类大型模型这件事上,大众普遍的认知可能就是堆GPU来进行大规模计算。

  但其实从去年开始,CPU便开始苦练内功,使端到端的通量足足提升到了原来的23.11倍。

  而现如今,CPU让这个数值great again——再次提升3.02倍!

预测超长蛋白质这事 CPU赢了

  不论是像抗菌肽这种较短的氨基酸序列,还是像亨氏综合征蛋白这样超长的序列,都可以轻松hold住。

  而且所有的预测任务,在不考虑最高通量、仅仅是顺序执行,8个小时就能全部搞定。

预测超长蛋白质这事 CPU赢了

甚至国内已经有云服务提供商做了类似的优化方案:

  相比于GPU,基于CPU的加速方案在性价比上更为理想,而且在特定的情况下(超过300或400氨基酸),几乎只有CPU能把它算完,而GPU的失败率会很高。

  要知道,像AlphaFold2这类任务,可以说是公认的AI for Science标杆。

  从上述的种种迹象表明,CPU不再是“你以为的你以为”,而是以一种新势力进军于此,并发挥着前所未有的威力。

  CPU,正在大步迈进新时代。

预测超长蛋白质这事 CPU赢了

英特尔自己刷新自己

  事实上,此次备受关注的CPU加速方案,背后不是别人,正是发明了CPU的英特尔。

  2022年,英特尔以第三代至强?? 可扩展处理器为硬件基座,使AlphaFold2通量优化提升达23.11倍。一年后,他们在此基础上,再次实现自我刷新。

  2022年,英特尔基于第三代至强?? 可扩展平台,针对AlphaFold2的设计特点,在预处理、模型推理、后处理三阶段实现了端到端优化。

预测超长蛋白质这事 CPU赢了

  如今,原有的五大端到端基础步骤之上,第四代至强?? 可扩展处理器的加入,再次给AlphaFold2带来整体推理性能的提升。

  此次优化方案主要围绕预处理和模型推理两个方面,基本划分为五个步骤。

  第一步:预处理阶段,借助第三代或第四代至强 可扩展处理器的多核优势及其内置AVX-512技术,实现针对性的高通量优化。

  第二步到第五步模型推理阶段的优化,与2022年方案类似。

  第二步,将深度学习模型迁移至面向英特尔?? 架构优化的PyTorch,并逐模块地从JAX/haiku完成代码迁移。

  第三步,引入JIT图编译技术,将网格转化为静态图,以提高模型推理速度。

  第四步,切分注意力模块和算子融合,即对注意力模块进行大张量切分的优化思路;与此同时,使用IPEX(英特尔?? 扩展优化框架,建议版本为IPEX-2.0.100+cpu或更高)对Einsum和Add两种算子进行融合。

  第五步,借助至强?? 可扩展平台的计算和存储优势实施针对性优化。比如基于NUMA架构技术,挖掘多核心优势,破解多实例运算过程中的计算和内存瓶颈。

  不过除了提供更强的基础算力,第四代至强?? 可扩展平台还带来了诸多针对AI工作负载的优化加速技术。

  具体可以拆分为四项:(详细优化方案可点击阅读原文获取)

  一、TPP技术降低推理过程中的内存消耗

  TPP(Tensor Processing Primitives)相当于是一种虚拟的张量指令集架构,能让英特尔?? AVX-512等物理指令集予以抽象,生成经过优化的平台代码。

  具体到计算执行上,TPP能实现两种优化方式:以单指令多数据方式处理数据;优化内存访问模式,提升缓存命中率来提高数值计算和访存效率。

预测超长蛋白质这事 CPU赢了

  这样一来,狭长矩阵乘法的空间复杂度从 O (n^2) 降为 O (n) ,运算内存峰值也将大幅降低,更有助于处理长序列蛋白结构预测的问题。

  二、支持DDR5内存与大容量缓存带来张量吞吐提升

  AlphaFold2中大量的矩阵计算过程需要内存来支撑,因此内存性能影响着整个模型运行性能。

  第四代至强  可扩展处理器带来两种解决思路——支持DDR5内存,以及大容量末级缓存:

  一方面,与上个方案DDR4内存带宽25.6GBps (3,200MHz)相比,DDR5内存带宽提升了超50%,达到38.4GBps (4,800MHz)以上 ;另一方面,末级缓存也由上一代的最高 60MB提升至现在最高112.5MB,幅度87.5%。

  三、内置AI加速引擎AMX

  英特尔在第四代至强?? 可扩展处理器中创新内置了AI加速器——英特尔?? AMX,类似GPU里的张量核心,加速深度学习推理过程并减少存储空间。

  它支持INT8、BF16等低精度数据类型,尤其BF16数据类型在精度上的表现不逊于FP32数据类型,AlphaFold2使用AMX_BF16后,推理时间可缩短数倍之多。

  四、高带宽内存HBM2e增加访存通量

  每个英特尔 至强 CPU Max系列,都拥有4个基于第二代增强型高带宽内存 (HBM2e) 的堆栈,总容量为64GB (每个堆栈的容量为16GB)。

  由于能同时访问多个DRAM芯片,它可提供高达1TB/s的带宽。而且配置更灵活,有三种不同模式与DDR5内存一起协同工作:HBM Only、HBM Flat以及HBM Cache。

  综上,第四代英特尔?? 至强?? 可扩展处理器所带来的四种优化技术让AlphaFold2的端到端通量得到了再进一步提升,与第三代相比实现了高达3.02倍的多实例通量提升。

预测超长蛋白质这事 CPU赢了

  当然,除了CPU之外,英特尔在探索验证AlphaFold2优化方案、步骤和经验过程中,同样也能提供其他AI加速芯片,给产业链上的生态伙伴提供强劲支持。

  甚至已经给出了行业备受认可的解决方案。

  就在前段时间,英特尔联合Github上知名的AI+科学计算的开源项目——Colossal-AI的团队潞晨科技,成功优化了AlphaFold2蛋白质结构预测的性能,并将其方案开源。

  基于AI专用加速芯片Habana?? Gaudi??,他们成功将端到端推理速度最高提升3.86倍(相较于此前使用的方案),应用成本相较于GPU方案最多降低39%。

预测超长蛋白质这事 CPU赢了

  医药和生命科学领域,AI还有何作为?

  大模型,毋庸置疑是近来科技圈最为火爆的技术之一。

  它凭借自身强算法、多数据、大算力的结合所带来的泛用性,在医药和生命科学领域同样大步发展着。

  这一过程,AI宛如从破解人类的自然语言,跃进到了破解生命的自然语言:

  人类自然语言大模型:从26个字母,到词/句/段。

  生命自然语言大模型:从21个氨基酸字母,到蛋白质/细胞/生命体。

预测超长蛋白质这事 CPU赢了

  那么具体而言,现在AI大模型可能会让医药和生命科学领域产生怎样的变革?

  我们不妨以百图生科推出的,世界首个AI大模型驱动的AI生成蛋白平台AIGP(AI Generated Protein)为例来了解一番。

  AIGP背后所依靠的,是一个千亿参数的跨模态生命科学大模型,通过“挖掘公开数据和独特自产数据”、“跨模态预训练和科学计算”,以及“蛋白质读写系统和细胞读写系统”,三大步骤实现对蛋白质空间及生命体的建模。

预测超长蛋白质这事 CPU赢了

  如此大模型能力之下,百图生科便具备了一系列给定Protein(抗原),设计与之以特定方式结合的Protein(抗体)的能力。

  也因此参与到了一系列前沿药物的开发,包括高性能免疫调控弹头设计、难成药靶点精准设计、定表位抗体弹头设计、可溶性TCR设计等。

  除此之外,百图生科也具备对给定细胞/细胞组合,发现调控细胞的有效蛋白靶点/组合,并继而快速设计调控蛋白的能力。

  这就为多种疾病的靶点发现、耐药/不响应患者改善、靶点科学线索转化带来新的可能。

  不过有一说一,百图生科的例子也是只是AI之于医药、生命科学领域变革的一隅。

  但今年生物医学领域的著名奖项(加拿大盖尔德纳奖)史无前例地颁给了人工智能科学家、DeepMind创始人Demis Hassabis等人。

  这也从侧面反映了生命科学、医药领域对于AI的认可,以及更多的期待。

声明:来源非IT商业科技网的作品均转载自其它媒体,转载请尊重版权保留出处,一切法律责任自负。文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。转载稿件或作者投稿可能会经编辑修改或者补充, 如有异议可投诉至:Email:342 4350 938@qq.com

频道精选
预测超长蛋白质这事,CPU赢了

预测超长蛋白质这事,CPU赢了

  6月30日,AI模型的推理在CPU上完成加速和优化,竟然不输传统方案?  至少在生命科学和医疗制药方向,已经透露出这种信号。  例如在
2023-06-30
印度一箭104星弱爆了,中国创纪录一箭41星揭秘

印度一箭104星弱爆了,中国创纪录一箭41星揭秘

  6月30日,2023年6月15日,长征二号丁运载火箭成功发射包括吉林一号高分06A星等在内的41颗卫星,创造了中国航天单次发射卫星数量最多的
2023-06-30

2017-2019 Copyright © IT商业科技网 备案许可证号粤ICP备2022153948号 豫公网安备110102003388号

紧急处理QQ:133 4673 445@qq.com