在2024年9月19日开幕的云栖大会上,月之暗面Kimi创始人杨植麟表示,过去18个月大模型发展还在加速。
云栖大会持续三天,设有三日主论坛、400多个分论坛及并行话题,还设有三大展览,其中人工智能+馆人气火爆,标语宣称中国最好的100个AI应用都在这里。在这样的大会背景下,杨植麟对大模型发展的观点备受关注。
杨植麟谈到OpenAI最新模型o1时表示,这个模型意义很大,它在探索AI的上限。回顾AI过去七八十年的历史,他指出唯一有效的就是Scaling law,这是确定性的提升。
在大模型发展的进程中,o1改变了技术策略。与更单维度注重参数堆积、不断推进Scaling Law的GPT系列大模型不同,o1加入了强化学习,以思维链等方式大幅提升了模型的推理能力,并且一定程度上缓解了该领域对于数据墙的焦虑。
杨植麟从纵向的智商提升和横向的模态拓展给出了自己对AI发展的看法,他认为AI整体处于加速发展的状态。o1的主要意义在于提升了AI的上限,在数据挖掘遭遇瓶颈时,以Scaling Law为代表的原有范式已经遇到问题,而强化学习和大语言模型的结合,很大程度上解决了下一步Scaling Up的问题,至少证明了它初步可行。
他还认为这会对产业格局以及创业公司产生影响。其中一个关键点是,此后训练算力和推理算力的比例会发生变化,这个变化的本质可能给创业公司带来新机会。一方面,如果存在算力门槛,创业公司可以进行算法的基础创新,以取得基础模型上的突破;另一方面,算力相对小的公司可以通过后训练的方式在部分领域达成某种效果,这里将会产生更多产品和技术机会。
杨植麟一直强调文本模型的重要性,他认为文本模型能持续提升AI的智商,决定这一代AI技术的核心在于文本模型的能力上限,持续提升文本模型的能力对AI发展至关重要。随着大模型发展的加速,未来在技术创新、产业格局调整等方面都充满了无限可能。