跳至内容


智东西4月30日报道,今天,在首届LlamaCon开发者大会上,Meta正式发布了对标ChatGPT的智能助手Meta AI App,并宣布面向开发者提供官方Llama API服务的预览版本。
Meta AI App是一款智能助手,基于Llama模型打造,可通过社交媒体账号了解用户偏好、记住上下文。与ChatGPT一样,Meta AI App支持语音和文本交互,并额外支持了全双工语音交互(Full-duplex,允许在接收语音的同时并行处理和响应,支持边听边说、实时打断等功能)。
Meta AI App可作为Meta RayBan AI眼镜的配套应用程序,用户能通过该眼镜直接与Meta AI App对话。
同场发布的Llama API提供了包括Llama 4在内的多款模型,这一API与OpenAI SDK兼容,使用OpenAI API服务的产品可无缝切换至Llama API。
同时,Meta在新API中提供了用于微调和评估的工具,开发者可以打造符合自身需求的定制化模型,还可使用由AI芯片创企Cerebras和Groq提供的快速推理服务。
值得一提的是,过去数年中,Llama相关发布仅作为Meta Connect开发者大会上的一个环节,此次专门办会足见他们对AI业务的重视。Meta CEO扎克伯格并未出现在发布会现场,会后其将参与2场对谈。
关于价格,开发者可通过申请获取Llama API免费预览版的使用权限。未来,这一API或将采取收费模式,具体价格表尚未发布。Meta AI App及Web版本均已上线,免费可用。
https://llama.developer.meta.com/docs/overview
Meta首席产品官Chris Cox在LlamaCon大会上分享了Meta开源AI的最新进展。Cox称,2年前,Meta内部对开源的商业化前景和优先级问题都持有怀疑态度,但如今开源AI已成为行业大势所趋。
2个半月前,Meta宣布Llama及其衍生模型已经实现了10亿的下载量,今天,这一数字已迅速增长至12亿。
在开源平台Hugging Face上,Llama的大部分下载量均来自衍生模型,有数千名开发者参与贡献,数万个衍生模型被下载,每月被使用数十万次。
目前,Llama模型已被运用至Meta旗下的诸多App,包括WhatsApp、Instagram等等。在这些场景中,Llama模型经过了定制处理,以满足特定用例需求,例如对话性、简洁性(尤其是移动场景)和幽默感。
为提供更丰富的AI体验,Llama推出了独立智能助手App——Meta AI。
Meta AI App十分重视语音交互体验,可提供低延迟、富有表现力的语音。Meta AI还可连接用户的Facebook和Instagram账户,根据用户互动历史大致了解其兴趣,并记忆用户的相关信息。
这一App内置全双工语音实验模式。相关模型使用人与人之间的自然对话数据进行训练,能提供更为自然的音频输出。全双工意味着通道是双向开放的,用户可以听到自然的打断、笑声等,就像真正的电话对话一样。
全双工语音实验模式还处于早期阶段,没有工具使用、网络搜索等能力,无法了解新近发生的时事。
Meta AI App中融入了社交元素,用户可在发现页面分享提示词、生成结果等。这一App能与Meta Ray Ban智能眼镜配合使用。用户将能在眼镜上开始对话,然后从应用程序或网络的“历史记录”选项卡中访问它,以从上次中断的地方继续。
会上,Meta负责Llama业务的副总裁Manohar Paluri与Llama研究团队成员Angela Fan共同发布了由Meta托管的Llama API服务。
Llama API提供简单的一键式API密钥创建,一行代码就能调用。支持轻量级的Python和Typescript SDK开发者以及OpenAI SDK。
在API服务网页中,Meta提供了交互式游乐场。开发者可在其中尝试不同的模型,更改模型设置,比如系统指令或温度,以测试不同的配置。
▲Llama API界面
此外,开发者还可以使用多项预览功能,包括基于JSON的结构化响应、工具调用等。
Paluri认为,定制化才是开源模型真正应该领先的地方。Llama API提供了便捷的微调服务,目前支持对Llama 3.3 8B进行自定义。
开发者可在微调标签页上传用于微调的数据,或是使用Meta提供的合成数据工具包生成后训练数据。
▲Llama API模型微调界面
数据上传完成后,开发者可将数据的一部分切分出来,用于评估定制模型的表现。在Llama API平台上,可随时查看训练进展情况,微调完成后的模型可供下载,开发者可在任何场景中运行这一模型。
大会上,Meta宣布了与Cerebras和Groq的合作。这两家企业可提供Llama 4 API服务所需的算力支持,其算力能实现更快的推理速度。
自2023年Llama 1发布以来,Llama系列模型已历经四个主要版本,开源了数十款不同参数规模、不同架构的模型。不过,动辄数千亿乃至万亿参数量的模型,意味着巨大的投入——外媒爆料称,过去一年内,Meta已经主动与微软、亚马逊等公司接洽,希望建立合作关系,共同分担开发成本。
本次,Llama API与Meta AI App的发布,标志着Meta开始积极探索Llama系列开源模型商业化的新道路。虽然目前的相关服务均处于免费状态,但未来,Meta有望以开源模型为入口,引导企业和用户使用关联的云服务,或是利用App实现商业化变现。在讲完技术普惠和创新的故事之后,商业化或许是所有开源模型厂商们都需要共同面对的问题。
(文:智东西)