>  财经  >  正文

3w+星标项目大佬创业:树莓派即可运行大模型,已获GitHub前CEO投

资深开发大佬,终于忍不住自己出来创业了。

Georgi Gerganov,今年三月曾开源了 llama.cpp 项目,GitHub 上已破三万星标,要知道 Stable Diffusion 也不过 8.8k。

这个项目能让开发者在没有 GPU 情况下运行 Meta 的 LLaMA 模型,即便是在树莓派、MacBook 上运行大模型也通通不在话下~

在 M2 Max 上以 40 tok / s 的速度运行 7B LLaMA

甚至还成功吸引了小扎的注意:Meta 也在运行 llama.cpp。

可能由于反响太好,这位大哥决定把背后核心纯 C 语言框架 ggml 拿出来创业:原本是几月前的副业项目。

在官宣前这家公司就已经获得来自 GitHub 前 CEONat Friedman、Y Combinator 合伙人 Daniel Gross 的种子前投资。

消息一出,众多开发者赶来祝贺。

其中不乏一些坚定的拥护者:ggml 正在将大模型普及到边缘设备。

没过多久就有人建议:苹果应该将它收购了。

llama.cpp 作者创业

ggml,是一个纯 C 语言编写的张量库,可帮助开发者在消费级硬件上运行大模型,GitHub 星标数达到 4.4k。

由于加速效果惊人,一下子收获了不少开发者的支持。

By the way,ggml 的 gg 恰好是他名字的缩写。

大哥自己的两个上万星标的项目 llama.cpp 和 whisper.cpp 都使用了它。

后者是为 OpenAI 的 Whisper 自动语音识别模型开发的加速方案,可在 Mac、Windows、Linux、iOS、安卓、树莓派以及 web 上运行。

使用 whisper.cpp 在 树莓派上检测短语音命令

不少初创公司,比如主打生活搜索引擎的 rewind 都使用了这套解决方案。

还有两个项目同时在终端上运行。

在单个 M1Pro 上同时运行 4 个 13B LLaMA+Whisper Small 实例

根据个人介绍,ggml 张量库具有以下这些特点:

支持 16bit 浮点数;支持整数量化;自动微分;内置优化算法(例如 ADAM、L-BFGS);为苹果芯片设置特定优化;在 x86 架构上使用 AVX / AVX2 Intrinsic;通过 WebAssembly 和 WASM SIMD 提供 Web 支持;无第三方依赖;运行时零内存分配;支持指导型语言输出……

目前这个库以及相关项目都是免费开源,开发过程也全公开;当然也不排除开发授权给一些商业用途的项目。

用 C / C++ 重写神经网络代码

而这背后的开发大佬 Georgi Gerganov 也值得说道说道。

他的个人网站十分简单直接,甩出各种开源项目,除此之外别无其他。可以看出,他是 C / C++ 的狂热爱好者,信仰 Vim。

此前,他曾用 C / C++ 语言重写神经网络推理代码,这样几乎不依赖于其他库,以此提升效率。至于 llama.cpp 也是他一晚上 Hacking 出来的。

除此之外,他还有一些有意思的项目。

比如检查键盘是否可以通过麦克风窃听、猜 Hacker News 的标题,Wordle 克隆版等等。

One More Thing

值得一提的是,背后的这两个投资者也有点意思。

他们还专门给创业者提供算力集群,只需在网站上申请即可。这波是在 Next Level 上了~

参考链接:

广告声明:本文含有的对外跳转链接,用于传递更多信息,节省甄选时间,结果仅供参考。IT之家所有文章均包含本声明。

郑重声明:此文内容为本网站转载企业宣传资讯,目的在于传播更多信息,与本站立场无关。仅供读者参考,并请自行核实相关内容。

聚焦新闻

今日热点

热点排行

经济快报

中国品牌网致力于信息传播并不代表本网赞同其观点和对其真实性负责,若有任何不当请联系我们删除。

Copyright 2018- www.hanxinne.top All Rights Reserved

本网站展示资料或信息,仅供用户参考,不构成任何投资建议。 备案号:皖ICP备2023005497号