回到顶部

云原生的开源 AI 大模型基础设施

Sat, 08 Jul 2023 13:30:00 GMT+08 ~ Sat, 08 Jul 2023 18:00:00 GMT+08
Rust 中文社区

Hide

Tickets
    Please select the order price
    More Details

    Event DetailsHide...

    活动简介:


    加入我们,参加一场令人激动的 Open Source AI 见面会,聚集了领域内五位顶尖专家!我们的演讲嘉宾将进行有关他们的开源平台——Milvus、WasmEdge​、FATE、商汤模型量化框架 PPQ 和智源——如何帮助开发者训练、构建、部署和协作人工智能项目的技术分享。


    议程

    下午1:30 - 1:35:介绍


    下午1:35 - 2:20:使用 Rust 和 Wasm 开发轻量级 AI 应用 -- Michael Yuan,WasmEdge 创始人


    下午2:20 - 3:05:FATE-LLM: 当联邦学习遇到大型语言模型 -- 王方驰,VMware CTO办公室高级工程师,FATE项目maintainer


    下午3:05 - 3:50:向量数据库:大模型的长期记忆体 -- 李晨 Zilliz 运营及生态负责人


    下午3:50 - 4:05:茶歇


    下午4:05 - 4:50:在 AI 开发中模型量化相关的技术实践 -- 张志,商汤模型量化框架PPQ工程师


    下午4:50 - 5:35:FlagEval:大模型评测开源项目 -- 玄日成,智源智能评测组算法研究员,天秤项目core contributor


    下午5:35 - 6:00:集体照片和自由交流

    具体议题介绍


    演讲1:使用 Rust 和 Wasm 开发轻量级 AI 应用


    LLMs如ChatGPT类似于没有记忆、感官或手部的大脑。API和插件使开发人员能够为LLMs添加这些关键功能,并启用LLM应用程序。OpenAI插件和函数模板的普及表明了对此类服务的巨大需求。


    然而,当前的LLM插件通常建立在复杂的云本地基础设施之上,这些基础设施旨在为完整的服务(如VM,Linux容器和k8s集群)提供支持。这些基础设施对于大多数作为LLMs和外部服务之间轻量级链接的插件/无服务器应用程序来说过于繁重。Wasm已成为一种引人注目的轻量级、便携式和安全的运行时,适用于此类函数。


    在这个演讲中,我们将讨论WasmEdge社区(一个CNCF沙盒项目)如何利用和构建了Wasm容器基础架构,用于LLM插件。我们将涵盖主要的用例和采用情况,例如研发管理、DevRel、市场营销自动化和培训/学习。然后,我们将深入探讨技术堆栈,以及社区创建的Rust和JavaScript SDK,这些都能实现这些LLM用例。


    演讲2:FATE-LLM: 当联邦学习遇到大型语言模型


    近年来,基于 transformer 的大型语言模型越来越受欢迎,各界讨论不断升温,各路大模型也相继发布,另一方面,大型语言模型在数据和隐私问题上面临的挑战也逐渐凸显。近期,开源联邦学习框架FATE发布了联邦大模型方案FATE-LLM,将联邦学习和大模型技术相结合,为以上问题带来前瞻性的解决方案。通过FATE-LLM,各参与方可以在数据不出本地域的前提下,用各自隐私数据共同进行大模型微调并互惠互利。本次演讲将介绍FATE-LLM在将联邦学习应用于ChatGLM、 LLaMA 等大型语言模型方面的最新努力,并探讨技术和实践上的挑战、设计思路以及未来规划。

    听众受益: 1. 了解联邦学习与联邦大模型 2. 了解FATE-LLM相关设计思路 3. 了解FATE开源社区生态



    演讲3:向量数据库:大模型的长期记忆体


    对于构建专有大型语言模型的组织而言,向量数据库至关重要。向量数据库的一个新型重要用例是 LLM,在文本生成过程中可用于检索领域特定事实或专有事实,用以存储、索引、搜索和检索非结构化数据的大型数据集。本次分享将重点介绍AI 基础设施的开源向量数据库 Milvus 以及对应的云服务 Zilliz Cloud 是如何知识增强和赋能 LLM,并进而引出大模型与向量数据库的关系、生态集成、工具与应用等。

    听众收益:

    1. 了解大模型和向量数据库的集成构建AI Native应用

    2. 向量数据库如何知识增强和赋能 AIGC 领域相关


    演讲4: AI 开发中模型量化相关的技术实践

    神经网络量化是一种广泛应用的技术,可以在较低的成本下降低神经网络的计算代价和内存使用。目前使用最为广泛的量化技术将浮点模型转换为8位整数模型,并使用整数运算器完成网络的推理过程。量化技术目前正广泛应用于推理框架当中,大模型的压缩与部署也广泛地依赖于神经网络量化压缩,由商汤 OpenPPL 团队开发的量化框架 PPQ 是目前国内神经网络量化框架的佼佼者,其支持多个硬件后端平台的量化模拟与部署,并在此基础上抽象出一套完整的量化框架设计。我们将着重讲解大语言模型中广泛应用的量化技术,从weight only量化到groupwise kv cache量化,介绍这些技术的应用场景与性能收益。


    听众收益:

    您可了解到如何在服务器上进行网络部署以及性能调优,进而大幅降低神经网络模型的存储需求和计算成本,从而使得这些模型可以在资源要求严苛的设备上运行。通过一些在实际应用中的案例,您将更进一步地了解神经网络模型量化的实现细节与局限性。


    演讲5:FlagEval:大模型评测开源项目


    模型评测是模型生产生命周期中非常重要的一环,随着近年来基础模型相关理论和技术的高速发展,但传统的评测方法和基准在基础模型评测上正面临失效的困境,因此研发面向基础模型的评测方法和工具就显得更为重要。FlagEval 大模型开源评测体系创新构建了“能力-任务-指标”三维大语言模型评测框架,尝试细粒度的刻画基础模型的认知能力边界。



    Check out my channel for in-depth tech eviews! (3).png




    Event Tags

    Recently Participation

    • wayhome
      Register

      (1年前)

    • yanglc01
      Register

      (1年前)

    • samuel
      Register

      (1年前)

    • m.zf
      Register

      (1年前)

    • 王晓妍
      Register

      (1年前)

    • 常政
      Register

      (1年前)

    Perhaps you'd be interested in

    Question

    All Questions

    • Stephen Curry 1年前

      有线上直播吗?

      0
      • 夏歌 1年前

        Reply@Stephen Curry:关注 Second_State, 讲师的演讲视频将在近期放出。

    • DL铛铛狗 1年前

      请问有线上的链接吗

      0
      • 夏歌 1年前

        Reply@DL铛铛狗:关注 Second_State, 讲师的演讲视频将在近期放出。

    • leng 1年前

      请问有线上直播吗?

      0
      • 夏歌 1年前

        Reply@leng:关注 Second_State, 讲师的演讲视频将在近期放出。

    OrganizersMore

    WeChat Scan

    Share to WeChat→

    Event Calendar   Dec
    M T W Th F Sat Sun
    25 26 27 28 29 30 1
    2 3 4 5 6 7 8
    9 10 11 12 13 14 15
    16 17 18 19 20 21 22
    23 24 25 26 27 28 29
    30 31 1 2 3 4 5

    免费发布