落地有声|大模型落地社交,寻找合适的锤子钉钉子
【编者按】由ChatGPT引发的大模型热已一年有余,围绕大模型创业的公司也如雨后春笋,技术最终要为产业所用才能创造价值,当大模型落地千行百业,能够发挥怎样的价值?澎湃科技走进产业一线,访谈创始人、专家、投资人,调研大模型落地产业现状。本文为社交大模型访谈。
“大模型落地应用,如果仅仅拿着锤子找钉子,犹如散弹法,东一枪西一枪,要找到多个钉子才能提升成功率。但我们一直在找合适的锤子把钉子钉下去。”社交平台Soul App首席技术官陶明日前对澎湃科技(www.thepaper.cn)表示。
2013年从北京邮电大学毕业后,陶明在一家搜索公司待了三年,此后经历三次C端创业。2017年加入Soul时,团队成员并不算多。当时,市面上鲜有AI+社交的身影,而Soul已开始尝试将AI引入社交。彼时Soul的日活跃用户数快速增长,做一款聊天机器人辅助社交的需求越发凸显,一对多、多对多的公域社交场景下沉淀的海量高质量社交数据是最大优势。大模型研发提上日程。
2022年,ChatGPT横空出世,OpneAI入局聊天机器人,AI+社交的对话形式引爆市场,陶明和团队都感受到一波焦虑,起了个大早,半路杀出个新玩家。去年下半年,国内“百模大战”,与AI对话成为大模型的标配,陶明的焦虑再次涌上心头,“我们大力投入做大模型,当技术突然发生大变革,好像把大家拉到同一起跑线上。”
Soul App首席技术官陶明。
他感慨,去年上半年,大模型赛道还是蓝海,如今已是红海。B端大模型卷排名、卷打榜、卷模型规模、卷价格,C端卷垂类模型,根据应用需求寻找合适的解决方案,深入场景,重塑产业,为了钉子找锤子的模式目标明确,但短期想在AI社交上拿到技术红利不太可靠。如果认为有大模型的加持就能做好AI-Native(AI原生)应用,这是错觉。
2023年,Soul推出自研垂类语言大模型Soul X,应用于平台上多元社交互动场景,例如拟人型智能对话机器人“AI苟蛋”、AI辅助聊天、虚拟陪伴等。陶明说,平台提供的一切便利性工具本质上都是为了提升用户社交体验,在此基础上实现业务增值,增加营收。
但当前AI社交还面临挑战。在不同场景,同一句语料所表达的情感不同,例如“周末公司团建”这句语料在不同场景及上下文中可能代表“吐槽”情绪,也可能代表“期待”情绪,“苟蛋”需要据此给予不同反馈。现阶段AI社交只能不断做加法,发现案例后针对性解决。
大模型落地C端,还需要关注用户隐私。当C端用户和平台共建,用户之间的数据域需要隔离,大模型要更多使用公域数据,否则个体的个性化数据容易转移到其他用户。“在模型应用过程中,每个人都是创作者,不能把创作者的价值零成本移植到其他创作者身上,这会削弱创作者的积极性。”
以下是澎湃科技与陶明的对话实录,略有删减。
“聊天的情感化,再加上语境里的场景构建是最重要的”
澎湃科技:AI辅助社交是造人设吗?
陶明(Soul App首席技术官):社交平台和其他工具的本质是为用户提供便利,更好达到社交目的。例如AI聊天助理润色文字,提供互动意见,目的是更友好地沟通,帮助破冰。再比如对方发的消息不在你知识范畴内,对话就可能断档,如果稍加提示就能让对话进行下去,无需打开百度查。
澎湃科技:模型训练用的数据来自Soul上面的用户吗?
陶明:我们的语料来自平台公域社交场景,同时去标记化,合规训练。预训练数据更多是对话数据,能让基座模型本身就有对话能力,而不是其他公司通过通用模型微调达成对话效果。当然我们也有微调,我们不能在底座模型针对单个用户建模,但会在微调时预设风格,让模型以某种风格交流,让用户有更好的选择。
澎湃科技:大模型落地C端要注意什么?
陶明:对C端来讲,大模型没法端到端解决问题,它需要有系统层面、产品层面的解决方案,才能为用户带来价值。用户隐私也值得关注,C端用户和平台共建,用户之间的数据域需要隔离,数据不能串,具体来说,就是体现用户个性的数据不会转移到其他用户身上,大模型在数据分布时要更多使用公域数据。特别是当AIGC技术进一步释放个体的创作力,每个人都是创作者,当其和大模型交互,形成的数据和内容既是在表达自己同时也是在创作,不能把创作者的价值零成本移植到其他创作者身上,这会削弱创作者的积极性。
澎湃科技:做模型应用时踩过哪些坑?
陶明:早期探索时确实经历了很多波折。做“AI苟蛋”时希望它能说会唱、能识图、有形象。我们认为把很多资源投入到每个点上,每个点都做得最好,一定能实现不错的用户反馈,但最终发现资源用了很多,效果并不明显。能说会唱只是一种增益,对话能力,即聊天的情感化再加上语境里的场景构建是最重要的。在不同场景,一个人用同样一句语料所表达的情感不一样,大模型产品在这里的改进空间还很大。例如“周末公司团建”这句语料在不同的场景以及上下文中,背后可能是“吐槽”的情绪,又或者可能是“期待”的情绪,需要“苟蛋”给予的反馈也完全不一样。现阶段,用户聊天语料太泛,只能一步步解决,不断做加法,发现案例就想办法解决。
“自研模型也有痛点,每次基座模型更新后无法准确预判是好是坏”
澎湃科技:大模型迭代速度快,训练成本高,大模型商业化面临哪些痛点?
陶明:第一是业务持续性,如果我们用第三方模型,模型每次变更一定会带来我们业务的变更,因为每次模型的迭代发布并不和业务完全兼容,业务还要重新开发,所以我们自研模型。自研也有痛点,每次基座模型更新后都无法准确预判它到底带来好处还是坏处。所以我们先跑个小版本出来放到线上测,聊天人数增长了或流程提升了,说明这是一个好的变更。第二是成本,to C跟to B不一样,我们最大的成本不是训练成本,而是推理成本,因为线上用户太多,这需要我们持续打磨优化。降低推理成本,算力是一方面,拿到更加便宜的卡可以降本,还有框架层面的优化,比如编码肯定比生成码便宜,在这个过程中我们就可以做一些工作,如算子的优化,让计算效率最大化。
澎湃科技:大模型落地C端卷吗?
陶明:B端最开始卷排名、卷打榜、卷模型规模,后来卷价格,下一步卷服务,to B的商业故事一直在重演。to B把大模型当作生产力工具,用来提效,打价格战卷的是中小企业。to B市场从来没有形成付费的良好习惯,哪家便宜就薅哪家的羊毛,最终搞得大家都不挣钱,比如云计算,这也是市场驱动,你不做,客户就跟着别人跑。to B市场的游戏规则没什么改变。
C端跟B端不一样,C端是发现需求,但C端也卷。原来AI+社交不卷,2019年没人做,我们持续投入,但去年下半年大模型公司做AI社交,大厂也做。我们经常思考AI社交是短期能够拿到业务结果的方向吗?但社交崛起没那么快。去年上半年大模型还是蓝海,现在是红海,很多大模型公司拿着锤子找钉子,大家喜欢蜂拥而上,在某个点上死命卷,海外商业秩序可能更好,会思考更多原创。
每次这种技术大阔步向前发展时,总对一些长期投入的公司是不友好的状态。2019年到2022年,我们大力投入做大模型,当技术突然发生大变革,好像把大家拉到同一起跑线上,ChatGPT出来时焦虑了一波,国内蜂拥而上时又焦虑了一波。但还是想清楚了我们为什么要做这件事,我们相信人机交互一定会发生,但想短期在社交上拿到技术红利不太可靠,长期肯定看好。
“一直在找合适的锤子钉钉子,C端应用先有具体需求,再找合适方案”
澎湃科技:C端下一步卷什么?
陶明:C端卷垂类。社交、教育、医疗等垂类领域一定会被大模型重塑,比如教育行业并非一家公司能把所有事做好,肯定要走到场景里,比如把大模型和自然科学学科结合,定制化输出内容,会越来越细分。这里应用层的公司将拥有巨大的机会,不会只被巨头垄断,就像苹果有iOS、App store,任何App它都可以做,但它没有,因为这需要投入太多运营成本。
澎湃科技:如何破解拿着锤子找钉子?
陶明:目前看“拿着锤子找钉子”还是比较难的,不是一定没人能跑出来,但这个模式像散弹法,东一枪西一枪,出发点不是要解决某一个需求,而是要找到一个问题再用大模型解决。大模型公司也不可能只是找一个钉子,找多个钉子才能提升成功率。其实我们一直在找合适的锤子把钉子钉下去,C端产品的应用一定先有一个具体需求,再找合适的解决方案。
澎湃科技:怎么考虑商业模式?
陶明:目前Soul以C端增值服务为主,平台提供的一切便利性工具本质上都是为了提升用户社交体验,在此基础上实现业务增值。我们也在尝试针对B端提供品牌数字化解决方案。品牌也需要连接人,比如当我们的用户跟NPC沟通时提到想喝奶茶,就可以链接奶茶服务,这也是商业化空间。