{dede:global.cfg_webname/}

当前位置: 首页 > 资讯 > 互联网 > 正文

斯坦福发布Alpaca网友口中的“草泥马”,100美元人人都可微调Meta家70亿参数的LLaMA大模型

来源:量子位    时间:2023-03-14 16:11:34

  3月14日,一夜之间,大模型界又炸出个big news!

  斯坦福发布Alpaca(羊驼,网友口中的“草泥马”):

  只花100美元,人人都可微调Meta家70亿参数的LLaMA大模型,效果竟可比肩1750亿参数的GPT-3.5(text-davinci-003)。

  而且还是单卡就能运行的那种,甚至树莓派、手机都能hold住!

斯坦福“草泥马”火了:100美元就能比肩GPT-3.5!手机都能运行

  还有一个更绝的“骚操作”。

  研究所涉及到的数据集,是斯坦福团队花了不到500美元用OpenAI的API来生成的。

  所以整个过程下来,就等同于GPT-3.5自己教出了个旗鼓相当的对手AI。

  (薅羊毛高手……)

  然后团队还说,用大多数云计算平台去微调训练好的模型,成本也不到100美元:

  复制一个GPT-3.5效果的AI,很便宜,很容易,还很小。

  而且团队还把数据集(秒省500刀)、代码统统都给开源了,这下子人人都能去微调个效果炸裂的对话AI:

斯坦福“草泥马”火了:100美元就能比肩GPT-3.5!手机都能运行

  项目在GitHub发布才半天时间,便已经狂揽1800+星,火爆程度可见一斑。

  Django联合开发者甚至对斯坦福的新研究用“惊天大事”来形容:

斯坦福“草泥马”火了:100美元就能比肩GPT-3.5!手机都能运行

  不仅如此,斯坦福团队还搞了个demo,在线可玩的那种。

  话不多说,我们现在就来看看这个“草泥马”的效果。

  比肩davinci-003的草泥马Aplaca

  在斯坦福官方的演示中,他们先小试牛刀地提了一个问题:

  什么是羊驼?它和美洲驼的区别是什么?

斯坦福“草泥马”火了:100美元就能比肩GPT-3.5!手机都能运行

草泥马Aplaca给出的答案较为干练:

  羊驼是一种小型骆驼科动物,原产于秘鲁、玻利维亚、厄瓜多尔和智利;它比美洲驼小,羊毛更细,也没有驼峰。

  而后又简单的介绍了二者群居生活的不同。

  同样的问题若是交给ChatGPT(GPT3.5-turbo),则答案就不会像草泥马Aplaca那般简洁:

斯坦福“草泥马”火了:100美元就能比肩GPT-3.5!手机都能运行

对此,团队给出的解释是:

  Alpaca的答案通常比ChatGPT短,反映出text-davinci-003的输出较短。

  而后团队演示了让草泥马Alpaca写邮件:

  写一封e-mail祝贺被斯坦福大学录取的新生,并提到你很高兴能亲自见到他们。

  草泥马Alpaca对于这个任务也是信手拈来,直接给出了一个像模像样的邮件模板:

斯坦福“草泥马”火了:100美元就能比肩GPT-3.5!手机都能运行

  难度再次进阶,团队这次提出了让草泥马Alpaca写论文摘要的需求:

  写一篇经过深思熟虑的机器学习论文摘要,证明42是训练神经网络的最优seed。

  草泥马Alpaca给出的答案从内容上来看,非常符合大多数论文的摘要形式:试图回答什么问题、用了什么方法、结果如何,以及未来展望。

斯坦福“草泥马”火了:100美元就能比肩GPT-3.5!手机都能运行

  当然,也有迫不及待的网友亲自下场试验,发现草泥马Alpaca写代码也是不在话下。

斯坦福“草泥马”火了:100美元就能比肩GPT-3.5!手机都能运行

  不过即便草泥马Alpaca能够hold住大部分问题,但这并不意味着它没有缺陷。

  例如团队便演示了一个例子,在回答“坦桑尼亚的首都是哪里”的问题时,草泥马Alpaca给出的答案是“达累斯萨拉姆”。

  但实际上早在1975年便被“多多马”取代了。

斯坦福“草泥马”火了:100美元就能比肩GPT-3.5!手机都能运行

  除此之外,若是亲自体验过草泥马Alpaca就会发现,它……巨慢:

斯坦福“草泥马”火了:100美元就能比肩GPT-3.5!手机都能运行

  对此,有网友认为可能是使用的人太多的原因。

斯坦福“草泥马”火了:100美元就能比肩GPT-3.5!手机都能运行

  笔记本、手机、树莓派都能跑

  Meta开源的LLaMA大模型,刚发布几周就被大家安排明白了,单卡就能运行。

  所以理论上,基于LLaMA微调的Alpaca同样可以轻松在本地部署。

  没有显卡也没关系,苹果笔记本甚至树莓派、手机都可以玩。

  在苹果笔记本部署LLaMA的方法来自GitHub项目llama.cpp,使用纯C/C++做推理,还专门对ARM芯片做了优化。

斯坦福“草泥马”火了:100美元就能比肩GPT-3.5!手机都能运行

  作者实测,M1芯片的MacBook Pro上即可运行,另外也支持Windows和Linux系统。

斯坦福“草泥马”火了:100美元就能比肩GPT-3.5!手机都能运行

  还是这个C++移植版本,有人成功在4GB内存的树莓派4上成功运行了LLaMA的 70亿参数版本。

  虽然速度非常慢,大约10秒生成一个token(也就是一分钟蹦出4.5个单词)。

斯坦福“草泥马”火了:100美元就能比肩GPT-3.5!手机都能运行

  更离谱的是仅仅2天之后,有人把LLaMA模型量化压缩(权重转换成更低精度的数据格式)后成功在Pixel 6安卓手机上运行(26秒一个token)。

  Pixel 6使用谷歌自研处理器Google Tensor,跑分成绩在骁龙865+到888之间,也就是说新一点的手机理论上都能胜任。

斯坦福“草泥马”火了:100美元就能比肩GPT-3.5!手机都能运行

  微调数据集也开源

  斯坦福团队微调LLaMA的方法,来自华盛顿大学Yizhong Wang等去年底提出的Self-Instruct。

斯坦福“草泥马”火了:100美元就能比肩GPT-3.5!手机都能运行

  以175个问题作为种子任务,让AI自己从中组合出新的问题以及生成配套答案实例,人工过滤掉低质量的,再把新任务添加到任务池里。

  所有这些任务,之后可以采用InstructGPT的方法让AI学会如何遵循人类指令。

  套娃几圈下来,相当于让AI自己指导自己。

斯坦福“草泥马”火了:100美元就能比肩GPT-3.5!手机都能运行

  斯坦福版Alpaca,就是花了不到500美元使用OpenAI API生成了5.2万个这样的示例搞出来的。

  这些数据同样开源了出来,并且比原论文的数据多样性更高。

斯坦福“草泥马”火了:100美元就能比肩GPT-3.5!手机都能运行

  同时还给出了生成这些数据的代码,也就是说如果有人还嫌不够,可以再去自行扩充微调数据,继续提高模型的表现。

斯坦福“草泥马”火了:100美元就能比肩GPT-3.5!手机都能运行

  微调代码也会在HuggingFace官方支持LLaMA后放出。

斯坦福“草泥马”火了:100美元就能比肩GPT-3.5!手机都能运行

  不过Alpaca最终的模型权重需要Meta许可才能发布,并且继承了LLaMA的非商用开源协议,禁止任何商业用途。

  并且由于微调数据使用了OpenAI的API,根据使用条款也禁止用来开发与OpenAI形成竞争的模型。

  One More Thing

  还记得AI绘画的发展历程吗?

  2022年上半年还只是话题热度高,8月份Stable Diffusion的开源让成本下降到可用,并由此产生爆炸式的工具创新,让AI绘画真正进入各类工作流程。

  语言模型的成本,如今也下降到了个人电子设备可用的程度。

  最后还是由Django框架创始人Simon Willison喊出:

  大语言模型的Stable Diffusion时刻到了。

斯坦福“草泥马”火了:100美元就能比肩GPT-3.5!手机都能运行

声明:来源非IT商业科技网的作品均转载自其它媒体,转载请尊重版权保留出处,一切法律责任自负。文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。转载稿件或作者投稿可能会经编辑修改或者补充, 如有异议可投诉至:Email:342 4350 938@qq.com

频道精选
斯坦福发布Alpaca网友口中的“草泥马”,100美元人人都可微调Meta家70亿参数的LLaMA大模型

斯坦福发布Alpaca网友口中的“草泥马”,100美元人人都可微调Meta家70亿参数的LLaMA大模型

  3月14日,一夜之间,大模型界又炸出个big news!  斯坦福发布Alpaca(羊驼,网友口中的草泥马):  只花100美元,人人都可微调Met
2023-03-14
海南昌江“玲龙一号”小堆示范工程反应堆压力容器与蒸汽发生器组件组焊后一次侧水压试验圆满成功

海南昌江“玲龙一号”小堆示范工程反应堆压力容器与蒸汽发生器组件组焊后一次侧水压试验圆满成功

  3月14日,核电站不仅有大型的,小型化核电站也非常重要,我国自主研发的全球首个陆上商用小型反应堆玲龙一号日前的最新试验大获成功。
2023-03-14
腾讯会将从2023年4月4日起调整免费版和会员版的多项服务功能

腾讯会将从2023年4月4日起调整免费版和会员版的多项服务功能

  3月14日,腾讯会议官方今日发布公告称,将从2023年4月4日起调整免费版和会员版的多项服务功能,涉及会议规模、时长和会员价格等方面。
2023-03-14
荣耀Magic4 Pro(12+512GB)是什么时候上市? Android 12运行内存12GB重量209g

荣耀Magic4 Pro(12+512GB)是什么时候上市? Android 12运行内存12GB重量209g

  手机名称:荣耀Magic4Pro   内存型号:荣耀Magic4 Pro(12+512GB)   参考报价:¥6499
2023-03-14
NASA:计划开发一种新型太空拖船,助力国际空间站2030年退役后实现受控坠落

NASA:计划开发一种新型太空拖船,助力国际空间站2030年退役后实现受控坠落

  3月14日,美国国家航空航天局(NASA)正计划开发一种新型太空拖船,旨在国际空间站在2030年退役后,能帮助实现受控坠落。  NASA载人
2023-03-14
红米K50(12+256GB)是什么时候上市? Android 12运行内存12GB重量201g

红米K50(12+256GB)是什么时候上市? Android 12运行内存12GB重量201g

  手机名称:小米红米K50   内存型号:红米K50(12+256GB)   参考报价:¥2799
2023-03-14
华为P60系列仍贯彻始终在影像赛道持续发力,订单数量远超预期

华为P60系列仍贯彻始终在影像赛道持续发力,订单数量远超预期

  3月14日,华为终端正式官宣将于3月23日14:30分在上海举办华为春季新品旗舰发布会。与此同时,华为终端BG CEO余承东在微博公布将在发
2023-03-14
汽车圈大V杨学良提前晒出魅族20 Pro的真机图,点赞称其好看又好用

汽车圈大V杨学良提前晒出魅族20 Pro的真机图,点赞称其好看又好用

  3月14日,魅族此前已宣布,将于3月30日晚19:30召开新品发布会,这将是魅族史上最大规模的新品发布会。  此次发布会的主角之一自然是
2023-03-14
用户通过修改注册表的方式,成功将Win11的任务栏挪动到桌面上方

用户通过修改注册表的方式,成功将Win11的任务栏挪动到桌面上方

  3月14日,不久前,有用户通过修改注册表的方式,成功将Win11的任务栏挪动到了桌面上方。  虽然修改后存在不少问题,但依旧有用户怀疑
2023-03-14
vivo X Note(12+512GB)配置参数 Android 12运行内存12GB重量216g

vivo X Note(12+512GB)配置参数 Android 12运行内存12GB重量216g

  手机名称:vivoXNote   内存型号:vivo X Note(12+512GB)   参考报价:¥6699
2023-03-14

2017-2019 Copyright © IT商业科技网 备案许可证号粤ICP备2022153948号 豫公网安备110102003388号

紧急处理QQ:342 4350 938@qq .com