尊龙人生就是博

搜索 猫眼影戏 融媒体矩阵
  • 山东手机报

  • 猫眼影戏

  • 公共网官方微信

  • 公共网官方微博

  • 抖音

  • 人民号

  • 全国党媒平台

  • 央视频

  • 百家号

  • 快手

  • 头条号

  • 哔哩哔哩

首页 >新闻 >社会新闻

DeepSeek华美文风从何而来?业内人士:训练战略迭代优化缺一不可

2025-02-14 02:03:27
来源:

猫眼影戏

作者:

汉森

手机检察

  猫眼影戏记者 贺怡 报道P6F9A2Y5R3B1T0V4X8W

“他们说我是魔、是妖、是异数?伤,莲花在淤泥里,如何长出自己的形状。”“我割开血肉,剔出龙筋,还给东海一个太平。却还不清,这具身体的债。”“乾坤圈在手腕上,长成另一道年轮。风火轮碾过陈塘关的黄昏,碾碎每一块试图界说我的石碑。”这是笔者让 DeepSeek 凭据目今热门影戏《哪吒之魔童闹海》为哪吒写的一首诗的节选。 (来源:DeepSeek) 旅游博主“福瑞环宇”用 DeepSeek 写了一首关于使徒保罗的诗,写完之后这位博主感伤道:“写出来一看简直要去地上找下巴。它竟然能把特洛伊和特罗亚区分得那么清楚,也艺术性地写出了特罗亚的位置、保罗在特罗亚爆发的两件重要的事,还给人泛起了一个全然摆上的保罗,最后一句‘一粒麦子埋入欧洲的年龄’更是惊艳又深沉到无以复加。” 通事后训练阶段两个办法协同实现华美作风 事实上,DeepSeek 不但会写诗,其走心的回覆作风已经让不少用户直呼“戳中心窝”。毫无疑问,DeepSeek 华美抒情走心的文风展现了 AI 温暖的一面。那么,是什么技术促成了这样的作风? 上海交通大学副教授赵波体现,通过一些试用可以发明,DeepSeek 主要包括八种角色设定:影戏角色、新闻主持、历史人物、动漫游戏、文学角色、职业角色、搞笑角色和科幻角色。每种角色大类又划分包括其类型中的经典人物。DeepSeek 可以凭据用户要求,模仿特定角色的语言或行文作风与用户交互。这一能力来源自然是训练数据,这需要 DeepSeek 的开发者针对富厚的角色/作风/场景,收集对应的多轮对话和指令追随数据来训练模型。而这些数据的来源可能是原始资料数据、人工标注数据、模型合成数据等。 美国耶鲁大学助理教授杨卓然从微观角度给出了一些解读。他体现凭据 DeepSeek?V3 技术报告,DeepSeek 的华美文风主要是通事后训练阶段的两个办法协同实现的。 第一个办法是监督微调(SFT,Supervised Fine-Tuning)。在监督微调阶段,模型接触到了大宗高质量的语言表达示例,尤其是针对创意写作等非推理任务的数据。杨卓然体现,具体来说关于创意写作任务,初始回覆由 DeepSeek?V2.5 生成,随后经过人工审核来确保内容的准确性和作风的一致性。正是在这部分数据中,模型学习到了大宗语言表达优美、用词讲究的示例,这为它后续生成华美文风涤讪了基础。 第二个办法是强化学习(RL,Reinforcement Learning)。在强化学习阶段,模型利用奖励机制进一步优化生成结果。关于诸如创意写作这样的开放式任务,奖励模型会对生成的回覆进行评分,不但要求谜底准确,还勉励模型在说话、句式和逻辑上体现得越发精致、富有文采。奖励模型基于监督微调阶段获得的 DeepSeek?V3 checkpoints 进行训练,并通过高温采样和多步优化,使模型在生成时逐步融合精美的修辞和细腻的表达方法。 北京邮电大学副教授白婷则综合 DeepSeek 的多款模型,从宏观角度给出了一些解读。她体现,DeepSeek 曾在技术报告里提到一些要害技术:好比 DeepSeek-V2 使用了 Multi-Head Latent Attention 和 Sparse MoE 架构,其中 Multi-Head Latent Attention 是为了提高模型效率,MoE 架构则能通过利用多专家能力来提高模型能力。DeepSeek-V3 把多专家架构加入辅助函数进行负载均衡的优化,同时也加入了强化学习进行增强。DeepSeek-R1 版本则是解决模型推理能力,它直接使用强化学习去指导思维链的生成,并通过知识蒸馏付与小模型以更大的能力。 白婷指出,DeepSeek 所接纳的技术并非独创,此前学界和业界已经开始使用这些技术,甚至一些团队的某些单项技术上做得比 DeepSeek 还要更好。“为什么 DeepSeek 能取得如此的乐成和关注度?我想其中包括了许多大模型研究者都可望不可及的两点:大宗算力资源和大宗高质量的训练数据以及适宜的训练战略。”她体现。算力无需多言,有实力的至公司在这方面基本不相上下。而华美的文风或者说是 DeepSeek 的回复较其他模型更“像人”,则是因为受到了上述要害技术手段的影响,但更为要害焦点要素则是高质量训练数据、训练战略和大宗迭代优化的结果。 数据即模型:数据质量发动模型性能 2024 年 3 月,DeepSeek 公司的研究员陈德里曾在一场业界大会上宣布过题为《和而差别:大语言模型价值观对齐解耦化》的演讲,演讲中他提到:“在实际模型生产历程中,我们会进行模型的迭代式开发;即每轮的训练结束之后,都会有一个独立的测试团队,对模型在上述各个维度上的宁静性进行充分的测试,并给出反响意见来指导进行下一个周期的数据迭代和模型训练。”由此可见,DeepSeek 在模型数据方面一定有独到之处。 (来源:https://maimai.cn/article/detail?fid) 杨卓然指出,数据质量对模型训练至关重要,不但影响模型获取和表达知识的能力,还决定了模型生成内容的作风和准确性。 其一,高质量数据可以提升模型表达和推理能力。优质数据包括准确、连贯且富有体现力的语言样本。例如,包括链式思考(COT,Chain of Thought)数据可以引导模型在推理时进行反思,进而在生成回覆时展现出清晰的逻辑和优美的语言表达。这正是模型能够生成既准确又具有华美文风的要害因素之一。 其二,高质量数据可以降低噪音和确保一致性。数据中的过失、噪音或纷歧致信息会导致模型生成内容泛起语法或逻辑问题。高质量的数据则能有效减少这些问题,使模型更好地学习到语言纪律,从而提高整体生成质量。 其三,高质量数据可以提升泛化能力。数据的多样性和全面性使得模型在面对差别领域和任务时都能生成高质量的回覆。富厚且准确的样本资助模型在多种场景下自如切换作风,无论是精炼的技术解答照旧文采斐然的创意写作,都能游刃有余。 其四,只需少量高质量数据就能显著提高模型能力。最近一些论文好比《s1: Simple test-time scaling》和《LIMO: Less is More for Reasoning》也强调,数据质量极为要害。即便只有少量高质量的数据,也能显著提升模型的能力,因为高质量数据中蕴含的信息更为准确和代表性,为模型提供了高效的学习信号。“这种‘精炼’数据不但资助模型在推理和生成上抵达更高水准,还能更快收敛以及降低训练本钱。”杨卓然体现。 白婷也认同上述看法。她体现:“以我们开发的百家智能体大模型(baijia.online)为例,我们在阿里 Qwen-7B 上的微调后的结果反超 DeepSeek-2.5-238B。”当通过收集大宗低资源、疏散的历史语料,以此来结构训练数据和训练战略,此时模型基座的能力强弱就不再是取得决胜性因素的要害。也就是说,高质量训练数据的使用能够大大增强大模型在某一目标任务上的能力。事实上,DeepSeek 也有角色饰演的能力,好比它能很好地饰演李白。可是,关于低资源的人物,其效果就比较一般,所以数据质量和训练战略是其背后的两大原因。“好比我们开发的百家智能体大模型就接纳了 RLAIF 的方法将高资源角色富厚的朝代、配景等信息迁移协同低资源人物的结构。”她说。 DeepSeek 的回复比其他模型更具某种作风,好比越爆发动、越发严谨等,这其实反应在工程师关于对话数据的结构和提示方法上。而关于模型生成内容质量的影响,一种是将所有数据都通过预训练方法内化到模型内部,一种是通过检索的方法将越发精准的知识召回。前者的泛化性很强,可是容易泛起幻觉,究竟庞大的知识会导致杂乱,不可专而精深。此后者则是一种人机协同的方法,检索的内容可以是人类构建的带有一定可信度的网页内容、史料等,使得大模型回复越发可信。 赵波也体现,数据质量对模型训练起到决定性作用?梢运凳菁茨P,有多高质量的数据就可以获得多强大的模型。随着训练数据的不绝收集,大模型研究团队对数据的关注逐渐从数据规模转移到数据质量。大宗实例证明:小规模高质量数据能够训练获得比大规模低质量数据更好的模型,并且训练本钱更低。赵波举例称,2023 年微软的 Phi-2 模型使用“教科书质量”的训练数据实现了小模型高性能。别的,合成数据也已成为大模型训练数据的重要来源,通过合成可以低成外地获得大宗高质量数据。目前,主流大模型的训练都使用了大宗的合成数据。赵波和团队也于 2023 年 7 月推出过针对多模态大模型训练的百万级高质量合成数据集 SVIT 等。 尾声 白婷增补称,无论是 AGI 照旧 Agent, 其实质上都是模拟并逾越人类这一目前最高等的智能体。从 DeepSeek 的设计上来看,不管是早期 DeepSeek-V2 版本中多专家 MoE 的群体决策,照旧 DeepSeek-R1 版本中思维链的推理能力,知识蒸馏的学习能力的增强,都能很契合地对应到人类做出决策时的反应和接纳的行为。可是,只有这些能力是远远不敷的,更高效强大的影象系统、共情能力、反思进化能力、个性化能力,都是后期大模型生长、逾越、效劳人类时需要具备的能力。在此,也期待 DeepSeek 带来更惊艳的体现。 参考资料: https://mp.weixin.qq.com/s/QlJLnbPbb8weY-lqLYoOCg https://chat.deepseek.com/sign_in https://mp.weixin.qq.com/s/h3b8l45ZMOkMM4hxhvzUxA https://maimai.cn/article/detail?fid=1826052238&efid=WRuDmSQ74-wciyw4PYW5Qw 排版:初嘉实

??时事1:免费的强 3d人物模拟器

??02月14日,中国农业银行河北省分行原高级专家宋雷接受审查调查,

  “不就是一只鸟吗,食物罢了。”小不点满不在乎的说道,斜睨它,那意思是难道你很特别吗?

?第一百五十八章 满载而归,爱情岛路线3线路大全免费。

??02月14日,北京今年拟完成20项市级疏堵工程和10个重要节点治理,

  “我所知也有限啊,爷爷只走出去八万里地罢了,虽然听起来很惊人,但我们这一域也不知有几多个八万里,守旧预计,最少要走出去数百万里,才有可能到尽头。”

,欧洲美女牲交在线看,oldmacdonald中老年乐,成版人女朋友app。

??时事2:国产卡一卡二卡三无人区乱码入口

??02月14日,2024年开年最卷的行业,为何是文旅?,

  穿山甲冲来,与小不点酣战,它身大力猛,拥有极尽力量,每一次拍落下金色的爪子,都气息猛烈,都足以将一座小山给震裂。

,久9国产精品自在自在,免费视频在线播放二无码,黄色视频在线看呦。

??02月14日,【中国故事共创会】阿根廷驻华大使爱上中国红酒 期待中阿两国红酒贸易大有作为,

  老师师们、同学们:

,国产男女aV大片免费看,三级视频网站,一边亲着一面膜胸口大尸度。

??时事3:吃瓜资源分享群

??02月14日,满载“年货”的特快班列抵京 日均到达量十四五万件,

  干部冬训学习,既是深入学习党的理论立异结果的重要平台,又是建设学习型党组织的一个重要载体。要抓住冬衙魅这一有利时机,广泛开展种种形式的学习型党组织创立运动。在学习方法上注重“三学”:向书本学习、向实践学习、向群众学习;在学习目的上做到“三宽”:眼界宽、思路宽、胸襟宽;在学习结果转化上落实“三新”:破解难题上有新思路、推动生长上有新举措、创先争优上有新效果。

,欧美猛男军人Gay巨大小说,骚播婷久久播六月香,小东西,叫出来我想听。

??02月14日,市场监管总局:2023年审结经营者集中案件797件,

  谁都没有注意,就连火灵儿、九头狮子等都受骗过了,可以说毛球的七十二变很是惊人,可以假乱真。

,日本丰满护士,超清无码一区二区三区app,美欧激情性交小说及视频。

??时事4:婷婷福利视频导航

??02月14日,湖南会同五村联创“抱团发展” 绘就振兴示范样板,

  “这才是柳神所说的搬血境真义吗?”小不点自语。

,超碰人人乐人人操人人干人人舔,丰满人妻被粗大爽ⅩXOO,野花社区www中国视频。

??02月14日,哈尔滨:冰玫瑰墙扮靓街区 ,

  这个变故很惊人,凶寇没有想到这软弱的村子竟有人敢对抗,并且照旧一个孩子,马上有点懵了。

,国产目拍亚洲精品二期,美国美女一及黄片日,又粗又硬又爽。

【“五一”假期 重庆民众乐享近郊游】

【联合国独立调查委员会:以色列与哈马斯在冲突中均犯下战争罪】

责编:沈再生

审核:张振江

责编:卡纳

相关推荐 换一换

Copyright (C) 2001-2025   dzwww.com. All Rights Reserved

新闻信息效劳许可证 - 音像制品出书许可证 - 广播电视节目制作经营许可证 - 网络视听许可证 - 网络文化经营许可证

山东省互联网传媒集团主办  联系电话:0531-85193202  违法不良信息举报电话:0531-85196540

鲁ICP备09023866号-1   鲁公网安备 37010202000111号  

Copyright (C) 2001-2025 Dzwww   鲁ICP备09023866号-1

网站地图