>  资讯  >  正文

我在iPhone上装了70亿参数大模型,来自陈天奇团队最新成果

跑大语言模型的门槛,已经降低到一部 iPhone 了。

当然安卓版本也有,只要手机 RAM 够 6G,听上去是不是比用 2060 还要震撼?

而且这次还是开箱即用的版本!

这个项目名为 MLC LLM,与之前的 WebLLM 同出自知名学者陈天奇团队。

截止目前已在 GitHub 上斩获超 6800 星。

目前可以测试的模型有羊驼家族的 RedPajama 和 Vicuna。

可选模型参数分别为 30 亿和 70 亿,与很多在线 Demo 规模也相当了。

RedPajama 团队表示,这一成果打开了大模型私有化部署的可能性。

话不多说,快来看看体验如何。

文字功底尚可,但理科是短板

我们选择了其中的 Vicuna 模型进行测试。

首先测试一下它的文学造诣,于是让它为四个季节分别写了一首诗。

韵律吗,基本上是两三句一押。

除了诗歌,故事也能创作,甚至还能写出内心戏来。

不只是爱情,其他类型的故事也难不倒它。

除了文学上的应用,我们不妨再来试试它的实用功能。

我们让它生成了一道夏威夷披萨的菜谱,看上去还蛮不错。

旅游计划也可以让它来安排。

我们再来看看它在理工科上的表现怎么样。

首当其冲的是代码,我们让它尝试用 Python 写了一段寻找最大数的代码。

想不到上来就是一通枚举…… 不过结果倒也是符合要求。

defmax_of_three:ifnum1num2andnum1num3:returnnum1elifnum2num1andnum2num3:returnnum2elifnum3num1andnum3num2:returnnum3returnNonenum1=11num2=45num3=14max_value=max_of_threeprint("Themaximumvalueis:",max_value)

不过遇到稍难的问题,它的编程能力就有些捉襟见肘了。

至于数学和逻辑推理则一言难尽,不过毕竟为适配手机参数有限,倒也情有可原。

我们还试了试用中文进行提问,但发现目前对中文的适配还有些问题。

另外,移动 App 目前还不具有保存聊天记录功能,切出界面时一定要小心小心再小心。

虽然目前能在手机上跑的大模型能力还有限,但团队也展示了未来更多发展方向。

比如为用户定制模型并与云端公共基础模型交互、提供离线支持、App 嵌入、去中心化等等。

如何安装

这款大模型支持 iOS、安卓移动设备,以及 Windows 和 Mac

iOS 用户可以先安装好 TestFlight,然后从下面的传送门申请测试:

如果名额已满,也可以用 GitHub 上的代码自行编译安装

安卓用户直接下载 apk 安装即可,第一次运行时需联网下载数据包。

桌面用户请参阅官方教程:

郑重声明:此文内容为本网站转载企业宣传资讯,目的在于传播更多信息,与本站立场无关。仅供读者参考,并请自行核实相关内容。

聚焦新闻

今日热点

热点排行

经济快报

中国品牌网致力于信息传播并不代表本网赞同其观点和对其真实性负责,若有任何不当请联系我们删除。

Copyright 2018- www.hanxinne.top All Rights Reserved

本网站展示资料或信息,仅供用户参考,不构成任何投资建议。 备案号:皖ICP备2023005497号