NVIDIA发布NIM微服务和AI Blueprint,助力开发者在PC上构建智能AI应用
时间:2025-01-07 15:50
小编:小世评选
近日,NVIDIA正式发布了NIM微服务和AI蓝图,为开发者和技术爱好者在PC上构建智能AI应用提供了更强大的支持。这一创新举措旨在利用NVIDIA RTX系列显卡的强大性能,使得数字人、内容创作以及生产力应用的开发变得更加高效和便捷。
NIM微服务以基础模型的形式提供,能在本地的NVIDIA RTX AI PC上运行。这些基础模型依托于全新的GeForce RTX 50系列GPU,拥有高达2375 AI TOPS的推理能力及32GB显存,使得生成式AI模型能够以更低的内存需求运行。这款基于NVIDIA Blackwell架构的RTX 50系列GPU,不仅是首款支持FP4计算精度的消费级GPU,还将对AI推理性能进行了两倍的提升,极大地增强了本地AI应用的执行能力。
早在2012年,NVIDIA的GeForce显卡就被广泛用于AI领域,AlexNet就是在GeForce GTX 580上进行训练的。此后,GeForce RTX系列在AI开发社区的影响力不断扩大,数据显示,去年在发表的AI研究论文中,有超过30%的研究者使用了GeForce RTX显卡进行计算。这充分证明了GeForce显卡作为AI开发的重要性。
现在,借助NIM微服务与多种低代码和无代码工具,如AnythingLLM、ComfyUI和LangFlow,技术爱好者和开发者可以很方便地使用图形用户界面(GUI)来整合AI模型,探索复杂的工作流。NIM微服务简化了获取和部署最新AI模型的过程,而NVIDIA AI蓝图则为数字人、内容创作等应用场景提供了易于使用的参考工作流。
为了满足日益增长的开发需求,众多领先的PC制造商和系统集成商很快将推出搭载GeForce RTX 50系列GPU并支持NIM微服务的RTX AI PC。从而为开发者提供一个更为强大的,助力他们构建各种智能AI应用。
NVIDIA的创始人兼首席执行官黄仁勋表示:“AI正以光速发展,从感知式AI到生成式再到的代理式NIM微服务和AI蓝图为开发者和技术爱好者提供了基础模块,使他们能够轻松探索AI的广阔前景。”
基础模型的引入意味着,任何开发者都可以轻松使用海量数据训练好的神经网络,从而在生成式AI领域获得更多机会。NVIDIA也在宣传其即将发布的一系列基础模型,这些模型来自诸如Black Forest Labs、Meta、Mistral和Stability AI等顶尖开发者,涵盖了大语言模型(LLM)、视觉语言模型、图像生成、语音操作以及检索增强生成(RAG)等多种应用场景。
同时,NVIDIA还宣布推出Llama Nemotron系列开放许可基础模型,这些模型在处理各种代理任务时能够提供卓越的精度。Llama Nemotron Nano模型将作为NIM微服务提供,特别适用于属于RTX AI PC和工作站的用户,能够高效地执行指令遵循、工具调用、聊天、编程和数学计算等功能。
NIM微服务不仅包含了在PC上运行AI所需的关键组件,并且进行了针对NVIDIA GPU的优化,可以无缝部署于RTX PC、工作站和云端环境。开发者们能够迅速下载这些NIM微服务,并在安装有Linux子系统(WSL)的Windows 11 PC上快速设置与运行。
微软的高管也表示,随着AI的快速发展,Windows 11 PC的创新也在不断加速。NVIDIA NIM微服务能够为Windows PC提供优化方案,使得开发者和技术爱好者能够直接集成AI模型,加速AI功能的部署。
值得注意的是,这些运行在RTX AI PC上的NIM微服务,将与多个知名AI开发和智能体框架兼容,包括AI Toolkit for VSCode、AnythingLLM、ComfyUI等,开发者可以通过行业标准接口将其构建的应用与NIM微服务相连接,这一切都将在云端、数据中心、工作站和PC上实现。
为了帮助开发者和爱好者快速上手,NVIDIA将推出ChatRTX技术Demo,让大家能够亲身体验NIM微服务带来的便利。NVIDIA还发布了Project R2X,一个具备视觉能力的PC虚拟形象,能够帮助用户获取信息,并协助其使用桌面应用、视频会议等功能。
作为NVIDIA NIM微服务和AI蓝图的延伸,用户还可以利用这些蓝图创建更加多样化和个性化的AI应用。比如,从PDF文档中生成播客,或是通过3D引导生成图像,让创作者在更大程度上掌控内容生成的过程。
NVIDIA计划于今年2月开始提供NIM微服务和AI蓝图,支持的首款硬件包括GeForce RTX 50系列、GeForce RTX 4090和4080以及NVIDIA RTX 6000和5000系列GPU,未来将逐步向其他GPU扩展支持。相信这一系列举措将为开发者和技术爱好者打开一个全新的AI应用开发时代。