02-银海：基础通识课

02 银海：基础通识课 02 银海：基础通识课 Modified April 12, 2025 No access 从模型开始20241009银海.pdf 📄 大雨修改文档中关于镜像配置的内容 user 2516 大雨更新文档，收集镜像分享码 user 2516 AJ与同学沟通，为大家申请新用户福利 user 8537 AJ标注云桌面环境下无需下载的安装包 user 8537 大雨整理无影安装和 GitHub 账号注册的文档，并将其作为扩展阅读放到 AI 编程课的对应位置 user 2516 大雨将国内代码镜像站的相关内容更新到教程中 user 2516 智能章节 00:00 人工智能的发展历程及决策式模型与生成式AI概念引入 本章节首先提到理学奖获得者对神经网络和机器学习的贡献，接着讲述人工智能创作小说的发展、微软同声传译系统等人工智能从实验性到实用性的转变，还提到深度学习算法迭代后的模型发展，最后阐述了大模型的组成以及一些相关概念。 03:33 大模型三大基石中的数据、算法与算力及大模型早期的数据合规问题 本章节首先提及在本章节和后续共学课程中会涉及相关内容并体验大模型魅力。然后阐述了大模型的三大基石为数据、算法、算力，分别对算法和数据进行讲解，如算法的技术架构迭代，数据方面早期存在使用不太合规数据等导致大模型乱说的情况。 06:40 将弱智8问题收录知识库，用多种工具测试并针对其开展活动 本章节AJ补充将弱智8的问题收录到知识库，提到有很多人参与其中，还提到马诺。他们用多种工具对这些问题进行测试，问题旨在刁难大模型且最初难住了大模型，不过后来大家根据数据集进行了优化，江南还根据问题进行了调教，还针对这些题目搞了一个活动。 08:32 以弱智巴题目开展的人机回复辨认活动及大模型改进情况 本章节主要提到一个有意思的活动，可以看到一些出题海报且银海有参与。活动的出题来源是弱智巴的题目，会建微信群让群里bot变为大语言模型回复问题，真人混在机器人中，让人分辨。还提到去年国内大模型回答这些题多失败，今年有很大改进，最后提议用几个大模型产品测试问题反应。 10:48 大语言模型的早期特点及通用、垂类模型的介绍 本章节主要讲述大语言模型相关内容。提到早期大模型存在缺乏情感、一本正经胡说八道的情况。还介绍了国内去年7月大模型百花齐放，包含通用模型（如文心一言等）和垂直模型，垂直模型针对特定领域，如小语种、临床医学、AI蛋白质结构预测等。 13:38 对比不同大模型对趣味问题的回应及续写差异 本章节先提出让大家用大模型体验回答“为什么爸妈结婚没邀请我”的问题，展示了Kimi、通义千问的回答情况并期待豆包的回答。还提到让大模型续写“今天我坐在凳子上”，发现各模型回复有差异。最后指出大模型是统计模型，会根据概率预测并返回信息，所以每次续写内容都不同。 17:13 大语言模型工作原理：训练数据、算力GPU、模型参数的作用 本章节先指出之前内容较为小儿科，接着讲解大语言模型工作原理，包括模型输入的示例。其原理涉及训练数据、算力GPU、模型参数三个方面，还对模型参数进行解释，将其类比为脑神经元，在相同训练数据下，模型参数越大能力越强，预训练数据的质量也十分重要。 19:25 Transformer架构与GPT相关发展概述 本章节先提及预训练参数集相关的能力、持续强化学习、数据和代码不度增强、特定场景语言翻译等大语言模型的分享内容，接着阐述GPT完整英文含义及其基于的Transformer架构（17年出现用于翻译任务且有自我注意力机制），还讲到ChatGPT在22年底开放网页对话引发关注以及相关版本情况。 22:08 Transformer工作原理及模型调校中的温度控制 本章节先提及Transformer主要做单词预测，根据输入语句推测后续单词并按高概率返回。还介绍了模型调校中的温度（temperage）控制，不同的温度值会使模型输出有更稳定、更活泼或无影响等状态，最后给出按照概率返回单词的简单例子。 24:20 Transformer架构中的输入嵌入与自助运力机制 本章节主要以datefficient、Empower user to create等文本为例，以可视化方式讲解Transformer架构。单词先拆分再嵌入（embedding），为保证语序不乱会做位置编码标记，嵌入后进入自助运力机制模型，它能匹配词与语境间的强依赖关系以合理生成内容。 27:39 Transformer架构、大模型幻觉与QKV概念 本章节首先介绍了Transformer架构中的词与词组合、位置编码及下一词概率预测等内容，提到通过实践能更好理解Transformer。还引出大模型幻觉概念，指出优质数据集的重要性，最后对QKV进行了解释，包括q为query、k为组件、v为组件下对应的值等。 30:15 Prompt在大模型中的作用及分类 本章节先讲了Transformer模型原理查询组件返回值的过程，然后重点分享prompt相关内容。prompt承担与模型的交流工作，有system prompts、user prompts和assistant prompts三种，提示工程就是要写好prompt，通过调试得到符合预期结果，但目前离不需要prompt还有距离。 34:11 nimbus分享prompt法则、应用及相关有趣内容 本章节nimbus分享了shell prompt法则的7个主要步骤，包括提问要有具体信息、指定角色、用分隔符等。还提到提示工程的核心是与大模型好好沟通以表达需求。此外，讲了用梗图描述AI产品经理的prompt内容，以及cloud模型通过prompt调校的示例。 38:11 Fine Tuning与RAG概念及其在特定领域任务中的作用 本章节首先提到过两天李金刚老师将分享Prom技巧，接着介绍了fine tuning微调概念，它是在通用大模型的垂类模型中进行，就像人学习新知识充实自己一样。还讲解了RAG检索生成，它通过引用外部数据源为模型补充数据。 42:02 AI搜索、Fine Tuning、检索生成（IAG/RAG）原理及相关应用 本章节首先回顾了fine tuning（微调）与检索生成，指出检索生成更适合动态知识更新需求高的任务。接着介绍了AI搜索概念，它结合多种能力可查询信息源并整合内容。还提到IAG（检索生成框架）能在本地运行，阐述了其原理和流程，其检索过程较耗时。 48:42 多模态大模型、生成式与决策式模型及自然语言操控手机的相关介绍 本章节首先提及大语言模型在AI搜索场景下的应用，接着介绍多模态大模型，将其比喻为多才多艺的机器人，并介绍相关产品及动手实践活动。还讲解了决策模型和生成模型，通过实例阐述二者区别。最后展示了用自然语言操控手机的场景及其架构原理。 56:40 多模态大模型原理及Stable Diffusion的应用与扩散模型原理 本章节先介绍多模态大模型原理，其有解码器、backbone、生成器、输入输出等五个部件，左侧实现多模态理解，右侧是文本到多模态转换。接着讲stable diffusion，输入提示词可生成图像，在AI产品应用中有很多场景，最后介绍扩散模型diffusion的概念及正反扩散过程。 01:03:06 扩散模型（Diffusion）原理及在图像生成中的应用 本章节主要讲解了stable diffusion的过程。Diffusion主要解决潜在空间扩散模型里的速度问题，它将图像加噪声压缩到潜在空间再还原，这样可提高速度和还原质量，包括正向加噪声、反向去噪声的过程，还提及在正常使用中可通过简单提示词生成图像。 01:06:18 吉梦AI的功能体验及AI视频生成相关介绍 本章节提到吐司是类似diffusion在线生成的平台，吉梦AI提供AI视频生成能力，这是它最早的能力。吉梦做了通用模型封装，输入关键词就能快速生成。还有AI生成短视频相关内容，且提到Meta的视频生成可同时生成音乐，也提及后续共学课程有专业老师教学。 01:09:29 吉梦应发力追赶Meta，同时介绍礼不模型相关内容及操作体验 本章节提到吉梦要发力追赶Meta，还介绍了礼不偏向于更纯正的diffusion模型，其训练需要很多图像数据并做标签化处理。礼不基本还原stable diffusion的Web UI界面且交互更人性化，还提到Web UI相关内容会有老师分享，也尝试了按流程节点方式用正向反向提示词生成图片。 01:13:32 AI图像与视频生成相关产品及案例分享 本章节首先介绍了吐司古诗与礼类似，有模型、在线训练等功能，且可用于AI绘画尝试。接着分享了AI视频，提到openAI的Sora模型，展示了根据故事描述生成的气球人短片，还介绍了VTO AGI的AI李普村动画视频，它可生成奇奇怪怪内容。 01:17:33 离谱村项目：用多种AI进行视频生成及项目建设 本章节首先提到使用AI生图再生成视频，还提及一些看似离谱的内容如离谱村的竞争等。接着表示之前离谱村项目使用了MID journey、Runway、GBD for、sooner AI等进行视频生成，最后表示有兴趣可参与离谱村等项目的建设。 01:21:39 视频生成原理及与Meta模型差异，基于Sara架构类似stable diffusion架构 本章节首先提到会有老师讲解AI电影内容，接着回顾了diffusion生成装修效果图，并指出通过视频方式可加强装修效果。还阐述了视频生成基于Sara架构，对比了开篇提到的Meta视频生成模型的差异，介绍视频生成原理类似stable diffusion架构，且整体生成逻辑为扩散模型。 01:23:46 视频生成原理的模块化拆解及相关概念 本章节简单讲述了视频生成原理的模块化拆解。其中有feature的encoder模型，通过diffusion Transformer架构以test condition方式控制模型输出，在Transformer decoder转化为视频输出。输入视频可看作多帧图片，还介绍了patch概念、decoder功能以及diffusion model潜在空间的压缩作用。 01:25:40 Meta视频生成模型Meta movie卷的特点及与Diffusion架构的区别 本章节先介绍了视频生成原理及视频体积占比等内容，然后回顾Meta模型。Meta的模型能生成视频和声音，细节处理很棒，可以替换物体、换脸等，其视频生成模型将diffusion架构换成纯Transformer架构，基于LLAMA3训练，在图像文本对齐等方面与其他方式存在区别，还采用流式训练提高速度和质量。 01:29:03 Transformer模型的流匹配、Sono音频生成工具与豆包声音克隆功能 本章节提到可以查看完整论文中的原理部分，其基于Transformer模型的流匹配优于扩散模型。还介绍了Sono音频生成工具，输入简单提示词就能创作音乐。另外，提到豆包APP端可创建AI智能体，创建个人声音并录制念文本就能做声音训练，用自己声音对话。 01:31:00 端侧大模型相关概念及AI工程平台简述 本章节首先提到Notebook LN项目，然后重点讲述端测大模型，包括其可部署在多种设备、参数量小、可利用设备自身芯片运算、参数量和计算复杂度被减少的方式等，还介绍了知识蒸馏模型，最后提到AI工程平台及其典型例子define。 01:35:20 AI工程平台相关概念及AI对工作流的影响 本章节主要对整节分享进行复习。内容包括模型中数据集的清洗、抽取，rag基于知识库存储数据到向量数据库方便检索，IAG快速检索数据，编辑生成平台构建prompt的技巧，agent概念，插件pragin，运维平台，缓存机制，还提到大模型接入多家模型，以及AI改变工作流等。 01:39:44 介绍扣子AI工程平台的功能与使用 本章节主要介绍AI工程平台在日常生活中的帮助及使用方法。以扣子平台为例，其新版本有很多模板帮助学习。如名画照相馆工作流，能进行名画换脸操作。平台中的工作流程包含很多节点，且有多种插件工具，像必应搜索、链接读取、代码执行器等可供使用。 01:42:32 名画处理工作流中的节点、输入与操作 本章节主要讲述代码方面更高阶需求可编写自己代码，提到知识库可存储文稿信息。重点介绍了一个名画处理工作流，包括开始节点的输入内容如用户照片、名画内容、性别等，工作流中涉及大模型意图分析、结构化整理、历史撰写以及图像生成模型等操作。 01:44:37 Cos工程平台的基本使用：智能体创建、工作流、插件与知识库 本章节主要介绍工程平台。在cos主页有新手教程文档，可据此构建智能体。工作流偏向节点调用，可通过prompt构建提示词并优化。还能调用多种插件，可添加图像流、触发器和知识库，知识库可上传多种格式内容及在线链接以沉淀知识。 01:47:40 Nimbus介绍智能交互相关内容，包括有趣的智能体、插件商城、扣子案例、模型社区并答疑 本章节先提及可探索构建有趣机器人的交互方式，介绍了插件商城可构建插件上架。接着讲述v to AGI知识库有大量扣子工程实践案例。然后着重介绍模型社区，如摩达社区等几个平台，平台里有模型库、数据集等资源，还提到可在创空间体验应用，最后分享结束并答疑。 01:53:38 AI编程课前准备及相关工具、账号注册说明 本章节主要是关于AI编程课的课前准备介绍。大雨分享了自己的编程经历，提到即使无编程基础也能参与。课程需两天，时间有限所以内容精炼。还说明了要注册阿里云账号、安装无影、注册GitHub账号等准备工作，也提及了云桌面相关情况以及课程的后续安排。 Log in or sign up to use this feature. 会议回顾 会议议程 相关会议纪要 📌 10 24 | 娜乌斯佳：AIGC商业片落地经验分享 2024年10月24日 智能纪要 10 21 | 校园AIPO系列共学 2024年10月21日 智能纪要 校园AIPO系列共学 2024年10月17日 智能纪要 校园AIPO系列共学 2024年10月15日 智能纪要 10 14 | 校园AIPO系列共学 2024年10月14日 智能纪要 校园AIPO系列共学 2024年10月13日 智能纪要 10 12 | 校园AIPO系列共学 2024年10月12日 智能纪要 校园AIPO系列共学 2024年10月11日 10 10 | 校园AIPO系列共学 2024年10月10日 智能纪要 InternLM实战营 第一节课笔记 校园AIPO系列共学 2024年10月8日 00:00 03:33 06:40 08:32 10:48 13:38 17:13 19:25 22:08 24:20 27:39 30:15 34:11 38:11 42:02 48:42 56:40 01:03:06 01:06:18 01:09:29 01:13:32 01:17:33 01:21:39 01:23:46 01:25:40 01:29:03 01:31:00 01:35:20 01:39:44 01:42:32 01:44:37 01:47:40 01:53:38 10 24 | 娜乌斯佳：AIGC商业片落地经验分享 2024年10月24日 智能纪要 10 21 | 校园AIPO系列共学 2024年10月21日 智能纪要 校园AIPO系列共学 2024年10月17日 智能纪要 校园AIPO系列共学 2024年10月15日 智能纪要 10 14 | 校园AIPO系列共学 2024年10月14日 智能纪要 校园AIPO系列共学 2024年10月13日 智能纪要 10 12 | 校园AIPO系列共学 2024年10月12日 智能纪要 校园AIPO系列共学 2024年10月11日 10 10 | 校园AIPO系列共学 2024年10月10日 智能纪要 InternLM实战营 第一节课笔记 校园AIPO系列共学 2024年10月8日 No access 从模型开始20241009银海.pdf No access 从模型开始20241009银海.pdf 📄 大雨修改文档中关于镜像配置的内容 user 2516 大雨更新文档，收集镜像分享码 user 2516 AJ与同学沟通，为大家申请新用户福利 user 8537 AJ标注云桌面环境下无需下载的安装包 user 8537 大雨整理无影安装和 GitHub 账号注册的文档，并将其作为扩展阅读放到 AI 编程课的对应位置 user 2516 大雨将国内代码镜像站的相关内容更新到教程中 user 2516 智能章节 00:00 人工智能的发展历程及决策式模型与生成式AI概念引入 本章节首先提到理学奖获得者对神经网络和机器学习的贡献，接着讲述人工智能创作小说的发展、微软同声传译系统等人工智能从实验性到实用性的转变，还提到深度学习算法迭代后的模型发展，最后阐述了大模型的组成以及一些相关概念。 03:33 大模型三大基石中的数据、算法与算力及大模型早期的数据合规问题 本章节首先提及在本章节和后续共学课程中会涉及相关内容并体验大模型魅力。然后阐述了大模型的三大基石为数据、算法、算力，分别对算法和数据进行讲解，如算法的技术架构迭代，数据方面早期存在使用不太合规数据等导致大模型乱说的情况。 06:40 将弱智8问题收录知识库，用多种工具测试并针对其开展活动 本章节AJ补充将弱智8的问题收录到知识库，提到有很多人参与其中，还提到马诺。他们用多种工具对这些问题进行测试，问题旨在刁难大模型且最初难住了大模型，不过后来大家根据数据集进行了优化，江南还根据问题进行了调教，还针对这些题目搞了一个活动。 08:32 以弱智巴题目开展的人机回复辨认活动及大模型改进情况 本章节主要提到一个有意思的活动，可以看到一些出题海报且银海有参与。活动的出题来源是弱智巴的题目，会建微信群让群里bot变为大语言模型回复问题，真人混在机器人中，让人分辨。还提到去年国内大模型回答这些题多失败，今年有很大改进，最后提议用几个大模型产品测试问题反应。 10:48 大语言模型的早期特点及通用、垂类模型的介绍 本章节主要讲述大语言模型相关内容。提到早期大模型存在缺乏情感、一本正经胡说八道的情况。还介绍了国内去年7月大模型百花齐放，包含通用模型（如文心一言等）和垂直模型，垂直模型针对特定领域，如小语种、临床医学、AI蛋白质结构预测等。 13:38 对比不同大模型对趣味问题的回应及续写差异 本章节先提出让大家用大模型体验回答“为什么爸妈结婚没邀请我”的问题，展示了Kimi、通义千问的回答情况并期待豆包的回答。还提到让大模型续写“今天我坐在凳子上”，发现各模型回复有差异。最后指出大模型是统计模型，会根据概率预测并返回信息，所以每次续写内容都不同。 17:13 大语言模型工作原理：训练数据、算力GPU、模型参数的作用 本章节先指出之前内容较为小儿科，接着讲解大语言模型工作原理，包括模型输入的示例。其原理涉及训练数据、算力GPU、模型参数三个方面，还对模型参数进行解释，将其类比为脑神经元，在相同训练数据下，模型参数越大能力越强，预训练数据的质量也十分重要。 19:25 Transformer架构与GPT相关发展概述 本章节先提及预训练参数集相关的能力、持续强化学习、数据和代码不度增强、特定场景语言翻译等大语言模型的分享内容，接着阐述GPT完整英文含义及其基于的Transformer架构（17年出现用于翻译任务且有自我注意力机制），还讲到ChatGPT在22年底开放网页对话引发关注以及相关版本情况。 22:08 Transformer工作原理及模型调校中的温度控制 本章节先提及Transformer主要做单词预测，根据输入语句推测后续单词并按高概率返回。还介绍了模型调校中的温度（temperage）控制，不同的温度值会使模型输出有更稳定、更活泼或无影响等状态，最后给出按照概率返回单词的简单例子。 24:20 Transformer架构中的输入嵌入与自助运力机制 本章节主要以datefficient、Empower user to create等文本为例，以可视化方式讲解Transformer架构。单词先拆分再嵌入（embedding），为保证语序不乱会做位置编码标记，嵌入后进入自助运力机制模型，它能匹配词与语境间的强依赖关系以合理生成内容。 27:39 Transformer架构、大模型幻觉与QKV概念 本章节首先介绍了Transformer架构中的词与词组合、位置编码及下一词概率预测等内容，提到通过实践能更好理解Transformer。还引出大模型幻觉概念，指出优质数据集的重要性，最后对QKV进行了解释，包括q为query、k为组件、v为组件下对应的值等。 30:15 Prompt在大模型中的作用及分类 本章节先讲了Transformer模型原理查询组件返回值的过程，然后重点分享prompt相关内容。prompt承担与模型的交流工作，有system prompts、user prompts和assistant prompts三种，提示工程就是要写好prompt，通过调试得到符合预期结果，但目前离不需要prompt还有距离。 34:11 nimbus分享prompt法则、应用及相关有趣内容 本章节nimbus分享了shell prompt法则的7个主要步骤，包括提问要有具体信息、指定角色、用分隔符等。还提到提示工程的核心是与大模型好好沟通以表达需求。此外，讲了用梗图描述AI产品经理的prompt内容，以及cloud模型通过prompt调校的示例。 38:11 Fine Tuning与RAG概念及其在特定领域任务中的作用 本章节首先提到过两天李金刚老师将分享Prom技巧，接着介绍了fine tuning微调概念，它是在通用大模型的垂类模型中进行，就像人学习新知识充实自己一样。还讲解了RAG检索生成，它通过引用外部数据源为模型补充数据。 42:02 AI搜索、Fine Tuning、检索生成（IAG/RAG）原理及相关应用 本章节首先回顾了fine tuning（微调）与检索生成，指出检索生成更适合动态知识更新需求高的任务。接着介绍了AI搜索概念，它结合多种能力可查询信息源并整合内容。还提到IAG（检索生成框架）能在本地运行，阐述了其原理和流程，其检索过程较耗时。 48:42 多模态大模型、生成式与决策式模型及自然语言操控手机的相关介绍 本章节首先提及大语言模型在AI搜索场景下的应用，接着介绍多模态大模型，将其比喻为多才多艺的机器人，并介绍相关产品及动手实践活动。还讲解了决策模型和生成模型，通过实例阐述二者区别。最后展示了用自然语言操控手机的场景及其架构原理。 56:40 多模态大模型原理及Stable Diffusion的应用与扩散模型原理 本章节先介绍多模态大模型原理，其有解码器、backbone、生成器、输入输出等五个部件，左侧实现多模态理解，右侧是文本到多模态转换。接着讲stable diffusion，输入提示词可生成图像，在AI产品应用中有很多场景，最后介绍扩散模型diffusion的概念及正反扩散过程。 01:03:06 扩散模型（Diffusion）原理及在图像生成中的应用 本章节主要讲解了stable diffusion的过程。Diffusion主要解决潜在空间扩散模型里的速度问题，它将图像加噪声压缩到潜在空间再还原，这样可提高速度和还原质量，包括正向加噪声、反向去噪声的过程，还提及在正常使用中可通过简单提示词生成图像。 01:06:18 吉梦AI的功能体验及AI视频生成相关介绍 本章节提到吐司是类似diffusion在线生成的平台，吉梦AI提供AI视频生成能力，这是它最早的能力。吉梦做了通用模型封装，输入关键词就能快速生成。还有AI生成短视频相关内容，且提到Meta的视频生成可同时生成音乐，也提及后续共学课程有专业老师教学。 01:09:29 吉梦应发力追赶Meta，同时介绍礼不模型相关内容及操作体验 本章节提到吉梦要发力追赶Meta，还介绍了礼不偏向于更纯正的diffusion模型，其训练需要很多图像数据并做标签化处理。礼不基本还原stable diffusion的Web UI界面且交互更人性化，还提到Web UI相关内容会有老师分享，也尝试了按流程节点方式用正向反向提示词生成图片。 01:13:32 AI图像与视频生成相关产品及案例分享 本章节首先介绍了吐司古诗与礼类似，有模型、在线训练等功能，且可用于AI绘画尝试。接着分享了AI视频，提到openAI的Sora模型，展示了根据故事描述生成的气球人短片，还介绍了VTO AGI的AI李普村动画视频，它可生成奇奇怪怪内容。 01:17:33 离谱村项目：用多种AI进行视频生成及项目建设 本章节首先提到使用AI生图再生成视频，还提及一些看似离谱的内容如离谱村的竞争等。接着表示之前离谱村项目使用了MID journey、Runway、GBD for、sooner AI等进行视频生成，最后表示有兴趣可参与离谱村等项目的建设。 01:21:39 视频生成原理及与Meta模型差异，基于Sara架构类似stable diffusion架构 本章节首先提到会有老师讲解AI电影内容，接着回顾了diffusion生成装修效果图，并指出通过视频方式可加强装修效果。还阐述了视频生成基于Sara架构，对比了开篇提到的Meta视频生成模型的差异，介绍视频生成原理类似stable diffusion架构，且整体生成逻辑为扩散模型。 01:23:46 视频生成原理的模块化拆解及相关概念 本章节简单讲述了视频生成原理的模块化拆解。其中有feature的encoder模型，通过diffusion Transformer架构以test condition方式控制模型输出，在Transformer decoder转化为视频输出。输入视频可看作多帧图片，还介绍了patch概念、decoder功能以及diffusion model潜在空间的压缩作用。 01:25:40 Meta视频生成模型Meta movie卷的特点及与Diffusion架构的区别 本章节先介绍了视频生成原理及视频体积占比等内容，然后回顾Meta模型。Meta的模型能生成视频和声音，细节处理很棒，可以替换物体、换脸等，其视频生成模型将diffusion架构换成纯Transformer架构，基于LLAMA3训练，在图像文本对齐等方面与其他方式存在区别，还采用流式训练提高速度和质量。 01:29:03 Transformer模型的流匹配、Sono音频生成工具与豆包声音克隆功能 本章节提到可以查看完整论文中的原理部分，其基于Transformer模型的流匹配优于扩散模型。还介绍了Sono音频生成工具，输入简单提示词就能创作音乐。另外，提到豆包APP端可创建AI智能体，创建个人声音并录制念文本就能做声音训练，用自己声音对话。 01:31:00 端侧大模型相关概念及AI工程平台简述 本章节首先提到Notebook LN项目，然后重点讲述端测大模型，包括其可部署在多种设备、参数量小、可利用设备自身芯片运算、参数量和计算复杂度被减少的方式等，还介绍了知识蒸馏模型，最后提到AI工程平台及其典型例子define。 01:35:20 AI工程平台相关概念及AI对工作流的影响 本章节主要对整节分享进行复习。内容包括模型中数据集的清洗、抽取，rag基于知识库存储数据到向量数据库方便检索，IAG快速检索数据，编辑生成平台构建prompt的技巧，agent概念，插件pragin，运维平台，缓存机制，还提到大模型接入多家模型，以及AI改变工作流等。 01:39:44 介绍扣子AI工程平台的功能与使用 本章节主要介绍AI工程平台在日常生活中的帮助及使用方法。以扣子平台为例，其新版本有很多模板帮助学习。如名画照相馆工作流，能进行名画换脸操作。平台中的工作流程包含很多节点，且有多种插件工具，像必应搜索、链接读取、代码执行器等可供使用。 01:42:32 名画处理工作流中的节点、输入与操作 本章节主要讲述代码方面更高阶需求可编写自己代码，提到知识库可存储文稿信息。重点介绍了一个名画处理工作流，包括开始节点的输入内容如用户照片、名画内容、性别等，工作流中涉及大模型意图分析、结构化整理、历史撰写以及图像生成模型等操作。 01:44:37 Cos工程平台的基本使用：智能体创建、工作流、插件与知识库 本章节主要介绍工程平台。在cos主页有新手教程文档，可据此构建智能体。工作流偏向节点调用，可通过prompt构建提示词并优化。还能调用多种插件，可添加图像流、触发器和知识库，知识库可上传多种格式内容及在线链接以沉淀知识。 01:47:40 Nimbus介绍智能交互相关内容，包括有趣的智能体、插件商城、扣子案例、模型社区并答疑 本章节先提及可探索构建有趣机器人的交互方式，介绍了插件商城可构建插件上架。接着讲述v to AGI知识库有大量扣子工程实践案例。然后着重介绍模型社区，如摩达社区等几个平台，平台里有模型库、数据集等资源，还提到可在创空间体验应用，最后分享结束并答疑。 01:53:38 AI编程课前准备及相关工具、账号注册说明 本章节主要是关于AI编程课的课前准备介绍。大雨分享了自己的编程经历，提到即使无编程基础也能参与。课程需两天，时间有限所以内容精炼。还说明了要注册阿里云账号、安装无影、注册GitHub账号等准备工作，也提及了云桌面相关情况以及课程的后续安排。 00:00 03:33 06:40 08:32 10:48 13:38 17:13 19:25 22:08 24:20 27:39 30:15 34:11 38:11 42:02 48:42 56:40 01:03:06 01:06:18 01:09:29 01:13:32 01:17:33 01:21:39 01:23:46 01:25:40 01:29:03 01:31:00 01:35:20 01:39:44 01:42:32 01:44:37 01:47:40 01:53:38 大雨修改文档中关于镜像配置的内容 user 2516 大雨更新文档，收集镜像分享码 user 2516 AJ与同学沟通，为大家申请新用户福利 user 8537 AJ标注云桌面环境下无需下载的安装包 user 8537 大雨整理无影安装和 GitHub 账号注册的文档，并将其作为扩展阅读放到 AI 编程课的对应位置 user 2516 大雨将国内代码镜像站的相关内容更新到教程中 user 2516 智能章节 00:00 人工智能的发展历程及决策式模型与生成式AI概念引入 00:00 本章节首先提到理学奖获得者对神经网络和机器学习的贡献，接着讲述人工智能创作小说的发展、微软同声传译系统等人工智能从实验性到实用性的转变，还提到深度学习算法迭代后的模型发展，最后阐述了大模型的组成以及一些相关概念。 本章节首先提到理学奖获得者对神经网络和机器学习的贡献，接着讲述人工智能创作小说的发展、微软同声传译系统等人工智能从实验性到实用性的转变，还提到深度学习算法迭代后的模型发展，最后阐述了大模型的组成以及一些相关概念。 03:33 大模型三大基石中的数据、算法与算力及大模型早期的数据合规问题 03:33 本章节首先提及在本章节和后续共学课程中会涉及相关内容并体验大模型魅力。然后阐述了大模型的三大基石为数据、算法、算力，分别对算法和数据进行讲解，如算法的技术架构迭代，数据方面早期存在使用不太合规数据等导致大模型乱说的情况。 本章节首先提及在本章节和后续共学课程中会涉及相关内容并体验大模型魅力。然后阐述了大模型的三大基石为数据、算法、算力，分别对算法和数据进行讲解，如算法的技术架构迭代，数据方面早期存在使用不太合规数据等导致大模型乱说的情况。 06:40 将弱智8问题收录知识库，用多种工具测试并针对其开展活动 06:40 本章节AJ补充将弱智8的问题收录到知识库，提到有很多人参与其中，还提到马诺。他们用多种工具对这些问题进行测试，问题旨在刁难大模型且最初难住了大模型，不过后来大家根据数据集进行了优化，江南还根据问题进行了调教，还针对这些题目搞了一个活动。 本章节AJ补充将弱智8的问题收录到知识库，提到有很多人参与其中，还提到马诺。他们用多种工具对这些问题进行测试，问题旨在刁难大模型且最初难住了大模型，不过后来大家根据数据集进行了优化，江南还根据问题进行了调教，还针对这些题目搞了一个活动。 08:32 以弱智巴题目开展的人机回复辨认活动及大模型改进情况 08:32 本章节主要提到一个有意思的活动，可以看到一些出题海报且银海有参与。活动的出题来源是弱智巴的题目，会建微信群让群里bot变为大语言模型回复问题，真人混在机器人中，让人分辨。还提到去年国内大模型回答这些题多失败，今年有很大改进，最后提议用几个大模型产品测试问题反应。 本章节主要提到一个有意思的活动，可以看到一些出题海报且银海有参与。活动的出题来源是弱智巴的题目，会建微信群让群里bot变为大语言模型回复问题，真人混在机器人中，让人分辨。还提到去年国内大模型回答这些题多失败，今年有很大改进，最后提议用几个大模型产品测试问题反应。 10:48 大语言模型的早期特点及通用、垂类模型的介绍 10:48 本章节主要讲述大语言模型相关内容。提到早期大模型存在缺乏情感、一本正经胡说八道的情况。还介绍了国内去年7月大模型百花齐放，包含通用模型（如文心一言等）和垂直模型，垂直模型针对特定领域，如小语种、临床医学、AI蛋白质结构预测等。 本章节主要讲述大语言模型相关内容。提到早期大模型存在缺乏情感、一本正经胡说八道的情况。还介绍了国内去年7月大模型百花齐放，包含通用模型（如文心一言等）和垂直模型，垂直模型针对特定领域，如小语种、临床医学、AI蛋白质结构预测等。 13:38 对比不同大模型对趣味问题的回应及续写差异 13:38 本章节先提出让大家用大模型体验回答“为什么爸妈结婚没邀请我”的问题，展示了Kimi、通义千问的回答情况并期待豆包的回答。还提到让大模型续写“今天我坐在凳子上”，发现各模型回复有差异。最后指出大模型是统计模型，会根据概率预测并返回信息，所以每次续写内容都不同。 本章节先提出让大家用大模型体验回答“为什么爸妈结婚没邀请我”的问题，展示了Kimi、通义千问的回答情况并期待豆包的回答。还提到让大模型续写“今天我坐在凳子上”，发现各模型回复有差异。最后指出大模型是统计模型，会根据概率预测并返回信息，所以每次续写内容都不同。 17:13 大语言模型工作原理：训练数据、算力GPU、模型参数的作用 17:13 本章节先指出之前内容较为小儿科，接着讲解大语言模型工作原理，包括模型输入的示例。其原理涉及训练数据、算力GPU、模型参数三个方面，还对模型参数进行解释，将其类比为脑神经元，在相同训练数据下，模型参数越大能力越强，预训练数据的质量也十分重要。 本章节先指出之前内容较为小儿科，接着讲解大语言模型工作原理，包括模型输入的示例。其原理涉及训练数据、算力GPU、模型参数三个方面，还对模型参数进行解释，将其类比为脑神经元，在相同训练数据下，模型参数越大能力越强，预训练数据的质量也十分重要。 19:25 Transformer架构与GPT相关发展概述 19:25 本章节先提及预训练参数集相关的能力、持续强化学习、数据和代码不度增强、特定场景语言翻译等大语言模型的分享内容，接着阐述GPT完整英文含义及其基于的Transformer架构（17年出现用于翻译任务且有自我注意力机制），还讲到ChatGPT在22年底开放网页对话引发关注以及相关版本情况。 本章节先提及预训练参数集相关的能力、持续强化学习、数据和代码不度增强、特定场景语言翻译等大语言模型的分享内容，接着阐述GPT完整英文含义及其基于的Transformer架构（17年出现用于翻译任务且有自我注意力机制），还讲到ChatGPT在22年底开放网页对话引发关注以及相关版本情况。 22:08 Transformer工作原