ChatGPT浪潮下,中国语言模型发展与应用解决方案

日期:2023-04-11 17:11:34 / 人气:14044

ChatGPT——生成式AI里程碑

相比之前的生成式对话产品,ChatGPT(Chat Generative Pre-trained Transformer )在大范围连续对话能力、生成内 容质量、语言理解能力和逻辑推理能力上都得到大幅提升,超出了大众对于一款聊天机器人的预期,是生成式AI(AIGC) 极为关键的发展节点。作为一款生成式预训练大语言模型,“Chat”指向它的功能,“Generative”代表它属于生成式 算法。生成式算法在过去数年中受制于RNN的内生缺陷始终发展缓慢,直到2017年 “Transformer”架构出现并解决了 传统RNN模型的问题,生成式AI才开始在预训练的Transformer架构之上焕发生机,NLP、CV甚至多模态领域通用基础 大模型飞速演进。在模型参数量几何级数增长以及多种训练方式的探索之中,ChatGPT横空出世,也标志着通用基础大 模型将突破NLP领域以小模型为主导的传统发展范式。

探秘ChatGPT的能力从何而来?

ChatGPT具有的惊人效果,是在超大预训练语言模型GPT-3.5基础上,进一步根据人的需求目标进行模型调优的结果。巨 大的参数量和预训练数据量让GPT-3.5成为一颗储备了大量知识,并且具备语言生成能力的混沌“大脑”,再使用人类反 馈强化学习(RHLF)的方法进行指令精调,将模型的各项能力激活,并以符合人类的需求、偏好和价值观的方式有效释 放,同时大大提升了模型应对从未见过的新指令的能力。此外,ChatGPT在逻辑推理、上下文理解等方面的能力,是模 型参数量达到该量级后“涌现”出的,即所谓的“大力出奇迹”,这一现象在其他预训练大模型中也得到了印证。

国内外主要大语言模型研发路径与技术对比

与ChatGPT功能对标的大语言模型(Large Language Models, LLMs),目前国外主要有Google推出的Gopher、LaMDA 以及Meta的Llama等;国内为百度首发的“文心一言”、360发布的大语言模型、阿里发布的“通义千问”、商汤发布的 “商量”等。虽从对话和文本生成的直观体验看ChatGPT略胜一筹,但对于Google等国外大厂而言,克隆ChatGPT并不 存在太高壁垒,当前暂时落后主要是出于公司战略与技术理念差异,选择了不同技术路线,随着各家探索成果和新技术方 法的实践不断推进,仍存在对GPT系列模型赶超的可能。对百度等国内大厂而言,则在数据、算力、工程化能力等关键要 素上存在短板,短期内难以对国外领先大模型实现赶超,为跟随者角色,长期更需要国内AI全产业链整体进化。

企业商业化路径

商业模式上,ChatGPT已经明确指向API、订阅制和战略合作(嵌入微软Bing、Office等软件)三种营收方式,且已在用 在数据积累、产品布局和生态建设层面充分领先;Google虽有意追赶,但由于聊天机器人这样的产品形态对于其主营的 搜索引擎业务的助益有限,因此在与搜索引擎结合方面较为审慎,更希望借助大模型能力开展“模型即服务”范式,开拓 其当前市占率较低的云服务业务的市场空间。作为国内大模型的标杆企业,百度的选择与Google更为类似,“文心千帆” 产品剑指B端市场,意图带动云服务营收。

中国自研通用基础LLMs的重要意义

2023年3月中,OpenAI宣布ChatGPT整合GPT4,实现多模态交互、大幅提升复杂长文本理解与生成能力、可控性增强, 引起全球科技界震动。在国内科技及投资各领域的高度关注下,百度举办了“文心一言”产品发布会,虽说从产品功能、 成熟度、支持用户并发等维度距ChatGPT还有不足,但也是中国在这新一轮“科技军备竞赛”中的勇于尝试与发声,目前百度也已启动API接口开放测试,瞄准B端市场。紧随其后,360、阿里、华为、商汤、京东、科大讯飞、字节跳动等巨头企业也动作频频。

从自研通用预训练大语言模型的必要性角度分析:在全球政治经济局势下,自主可控是保障网络安全、 信息安全的前提,自研基石模型具有高度战略意义;从自研的可行性角度分析:基于前文讨论的通用基础LLMs研发所需 的算力、数据、算法、人才、资金储备等,中国仅有少数头部互联网企业具备研发“入场券”。宣布入局的头部企业基于 自身业务生态选择的战略路线也不尽相同。但可以大胆假设,未来若形成大模型能力领先,谁拥有通用基础大模型与生态 和流量入口,谁就更有可能拥有从应用层到算力层的营收话语权。

数字产业chatgpt应用开发方向

1)变革人机交互方式:既有软件将接入对话能力,交互界面发生变革,自然语言成为用户发布操作指令的新模态。这一 影响将从搜索引擎等知识信息平台拓展到一切人机交互型应用。友好度和功能性的显著提升将激活软件服务的增量用户市场;

2)丰富产品种类:将诞生新一批AI-first的应用,如创意设计、AI营销、AI运营等领域;

3)塑造新兴商业模式:AI 主导的“模型即服务”商业逻辑将重构应用开发流程,传统企业可享受低成本构建应用模型的便利;

4)构建新兴生态平 台:超级应用的出现,本质上搭建了用户需求与各类信息服务之间的基于自然语言交互的平台生态,塑造了移动互联网后 新的流量入口。

AI应用热潮与应用革命

ChatGPT被称为AI的“iPhone时刻”,以ChatGPT为代表的生成式AI让每个人命令计算机解决问题成为了可能。可对生 产工具、对话引擎、个人助理等各类应用,起到协助人、服务人甚至超越人的角色。凭借此革命性突破,ChatGPT在搜 索引擎与各类工具软件中率先掀起应用热潮,引起了广大用户对ChatGPT相关技术的关注与学习。海量下游应用也因此 捕捉到新的技术与产业机会,希望通过各类大模型与工程化能力,将类ChatGPT产品能力输送到原有的应用中,关于应用革命的序幕就此拉开。

作者:chatgpt开发,chatgpt应用开发,AI智能应用开发,AI训练模型


COPYRIGHT © 2016-2026 爱炎(北京)科技有限公司 版权所有  京ICP备17034934号  客服热线:15810745364