知乎与DataFun携手举办大模型技术沙龙，ZhiLight推理框架正式开源

在科技创新的浪潮中，人工智能领域尤其引人注目。近日，知乎联合DataFun举办了一场专注于大模型应用工程化实践的技术沙龙，吸引了来自15个不同领域、130家企业的专业人士参与。一同探讨大模型技术如何从实验室的理论研究转变为可以服务数千万用户的实际产品，成为行业内的一次重要聚会。

活动现场，知乎首席技术官孙斌宣布了一个激动人心的消息：知乎自研的轻量高效大模型推理框架ZhiLight正式开源。这一举动不仅标志着知乎在大模型技术工程化实践上稳步前行，也为广大开发者提供了一个优秀的工具，助力其在大模型应用领域的创新探索。

在2024年，知乎将继续推动大模型技术的实际应用，推出了知乎直答和专业搜索等新功能。这些功能不仅专注于提升专业人士的工作效率，还将人工智能搜索推向更为深奥和实用的深度搜索阶段。在沙龙上，知乎的AI算法负责人王界武详细讲解了知乎直答的构建过程和特定的技术方案选择。

王界武指出，知乎直答团队在开发AI问答系统时，经过对比，最终选择了检索增强生成（RAG）方案，而并非传统的LLM持续预训练加后训练方法。RAG系统结合了知识库检索和大语言模型生成的策略，显著降低了AI生成内容的错误概率，增强了生成结果的准确性和可信度。为了实现这一目标，团队深入优化了查询理解、信息召回和大模型生成等多个环节，确保用户获得高质量的回答。

在谈及专业搜索功能时，王界武透露，该团队采用了多种前沿技术，使多智能体能够协同工作，支持信息查询、内容分析、数学计算等多样化的需求。同时，结合大语言模型的强大推理能力，针对用户提交的上下文信息进行深入分析，从多个维度召回高质量内容，以满足用户的个性化需求。这一创新努力不仅提升了用户的使用体验，还增强了知乎在专业领域的竞争力。

王界武还透露了未来的发展计划，称知乎直答团队将致力于将产品与社区深度融合，提升用户在不同场景下的求解需求。在准确性、时效性与交互体验等领域进行更多的优化升级，以此提升大模型的推理能力，使知乎直答在复杂问题上能够更高效地提供解决方案。

在沙龙上，ZhiLight推理框架则是另一大战略亮点。知乎机器学习负责人王新详细介绍了ZhiLight的设计理念与优化方向。ZhiLight旨在快速部署和应用类似LLaMa的大型模型，并且兼顾OpenAI的chat/completions接口，使得使用变得更加直观和便捷。通过对PCIe卡之间通信的优化、内存管理的提升及并发请求的有效管理，ZhiLight在效率上取得了显著进展。

具体而言，ZhiLight通过计算与通信重叠和低精度通信等技术手段，大幅降低了单层Transformer的计算时间，优化幅度超过40%。在处理规模达到70B时，ZhiLight在TTFT指标上明显优于其他主流开源推理引擎，这一成就为业内树立了新的性能标杆。

在沙龙交流环节，百川智能大语言模型的资深算法专家王宇龙分享了对智能体技术（Agent）的最新探索。他认为，基于大语言模型的智能体相比于传统的智能体，能够全面释放大型语言模型的潜力，彻底改变智能体的工作方式，这类智能体能够灵活应对多种任务，并通过自然语言的理解实现问题解决。他同时讨论了当前智能体面临的一些挑战，以及如何利用LLM的潜能进行有效解决。

“提示词布道师”李继刚在会上也分享了关于Prompt设计的重要见解，他提出“Prompt=表达”的概念。他指出，在设计有效的Prompt时，核心在于如何用最清晰、简练的表达方式，来指向问题的本质。这一观点为与会者在如何与大模型进行有效交互上提供了深刻的思考。

此次大模型技术沙龙不仅为与会者奉上了一场前沿技术的盛宴，更是展示了知乎在推动大模型应用工程化实践方面的坚定步伐。未来，知乎将继续加强与科技界和技术从业者的合作，为互联网行业的技术研发和应用贡献更多的智慧与力量。