奇绩创坛潜空间分享会

奇绩创坛潜空间分享会 刘子鸣分享 《KAN的能力边界和待解决的问题》 KAN的能力边界和待解决的问题 刘子鸣对 KAN 深度学习网络结构的总结。KAN 受 KA 表示定理启发，用边上的激活函数代替节点上的激活函数。KAN 优势在于解释性强，适用于科学问题，但需要克服非光滑激活函数的挑战。KAN 和 MLP 在理论基础和实现方式上有差异，各有优劣。刘子鸣详细介绍了 KAN 的数学背景和算法实现技巧，展示了其潜力和局限。 杨植麟分享 1. 大模型公司究竟会做什么？ Kimi 一直想做 SuperApp，原因是模型迭代需要在智力密度最高的场景内获取数据。因此面向生产力的场景，特别是知识密度高的，比如编程，高等教育等场景。因此小公司如果在模型公司的轨道上，更容易失去价值。 2. 目前业界卡在哪里？数据，数据，数据。 scalinglaw 发展到现在目前已经用掉了绝大部分文本数据，要想模型再获得指数型的提升，必须解决下面两个问题中的一个： ◦ 合成数据视频 ◦ 数据理解 scalinglaw 发展到现在目前已经用掉了绝大部分文本数据，要想模型再获得指数型的提升，必须解决下面两个问题中的一个： ◦ 合成数据视频 ◦ 数据理解 注意这里说的视频数据不是简单的多模态对齐，因为对齐训练出来的模型只会做 pairing。 3. 应用公司能做什么方向？ 在目前模型智能的前提下，相比生产价值模型更能提供情绪价值。说白了，模型现在还不是人，但大概学会了说人话。结合 1 来看，生产力场景既容易被大厂碾压又很难提供足够的价值，所以现在对小公司来说，做非生产力场景的投入产出比更高。同时小公司也能把更多精力放在体验上而非推理能力上。 4. 大模型开发者生态为什么差？ 开发者生态建立在某个技术有很高的替换成本，比如 IOS 开发。在此基础上开发者可以形成规模效应，但目前大模型生态不具备这两个条件。 5. 做事情的原则？ 这点是我自己的观察，植麟多次提到了“梯度”，并且应用在研发，产品，管理上。用模型训练的思维对公司和产品进行迭代。这个我也很赞同，好的产品和企业都是长出来的不是造出来的，是在得到新的数据的前提下迭代出来的而不是提前精密设计好的。寻找梯度最大的方向并向其优化，才能保证迭代速度。 （来自小红书的分享） 刘子鸣会议纪要飞书链接：奇绩潜空间｜刘子鸣：KAN —— AI+Science领域潜在“语言”模型。密码：25&5796X 奇绩潜空间｜刘子鸣：KAN —— AI+Science领域潜在“语言”模型 杨植麟会议纪要飞书链接：奇绩潜空间｜杨植麟访谈笔记。密码：2722&14V 奇绩潜空间｜杨植麟访谈笔记