1月9日，由杨植麟创立的月之暗面发布了大模型产品——Moonshot AI，以及搭载该模型的智能助手Kimi Chat。这是全球首个支持20万字输入长度的大模型。据杨植麟介绍，Moonshot AI已经超越了支持100K输入长度的大模型Claude以及支持32K tokens处理能力的GPT4。
在成立不久后，月之暗面已经获得了来自红杉资本、今日资本、砺思资本等知名投资机构近20亿元的融资。而在国内做大模型的公司中，杨植麟究竟处于什么位置呢？一个硅谷极具影响力的科技媒体The Information列出了其认为有可能成为“中国OpenAI”的五个候选，其中就包括了杨植麟。
杨植麟不仅师从清华教授、IEEE Fellow唐杰，还前往NLP研究全球排名第一的卡内基梅隆大学（CMU）语言技术研究所攻读博士学位。他用了四年时间（2015-2019）从CMU出师，成为该校计算机专业博士生中毕业最快的学生之一。
杨植麟表示，这次创业瞄准的是ToC赛道，并阐述了创业的三个主要原因：第一，探索智能的边界，满足好奇心；第二，探索的东西对世界有用，和用户共创找到落地的场景；第三，希望AI是普惠的，提供一个更强大的方式，做个性化的结合。
瞄准ToC赛道，杨植麟指出：“大模型产品将进入长文本时代。”他认为，更长的上下文长度可以为大模型应用带来全新的篇章，促使大模型从LLM时代进入L(Long)LLM时代。Moonshot AI相信，更大的上下文能力可以促使大模型从鲸鱼、蜜蜂、蝌蚪等捷径走向全局和大规模参数的发展。
Moonshot AI的技术路线就是不走捷径，踏实解决算法和工程的双重挑战。目前Moonshot AI在存储、算力、带宽等方面都做了优化，成为一个真正可用可产品化的长文本。杨植麟表示，计划明年会推出多模态能力。
长文本处理能力惊人，为什么在这场如火如荼的AI大战中，大模型的长文本处理能力成为了各家攀比的关键？用过大模型产品的朋友应该遇到过这样一个现象：当你和大模型进行多轮对话时，聊着聊着它可能就忘了你之前说话的内容。长文本处理是生成式AI的重要应用场景之一，因为良好的长文本处理能力可以让AI系统理解足够复杂和冗长的信息，如书籍、研究报告、法律文件等，这将为知识获取、文档分析、语义理解等方面带来实用价值。
沟通会上，杨植麟为我们演示了Kimi Chat在提取20万字小说关键信息的能力；可以一口气输入几十个文档进行提取；同时还能输入链接，直接提取链接内的内容，进行角色扮演；另外还可以分析财报，理解法律条文。当问及上下文输入过长可能会导致注意力分散问题时，杨植麟表示需要在全局思考上下文的同时用千亿参数来训练，这是Moonshot AI突破难点的两个关键词。
在AI科技评论看来，目前各家大模型还处于你追我赶的争夺赛当中，未来生成式AI的技术竞赛将在长文本处理领域展开。
相关文章
