人民智造2-大模型这么强大，有什么风险吗

【导语】中国人民大学副教授塔娜解析大模型奥秘：从预训练、微调技术到GPT系列发展脉络，揭示DeepSeek等国产模型特色优势，同时直面算法偏见、AI幻觉等现实挑战，提出数据多样性提升、伦理审查等解决方案，助您科学认知与批判性使用人工智能。

大家好，我是中国人民大学新闻学院的副教授塔娜。我主要研究的方向是传播学与计算科学的交叉学科方向。

大模型为什么可以回答各种问题？

大模型之所以能回答各种问题，核心在于预训练和微调(diào)这两个技术步骤。

预训练是通过让模型“阅读(dú)”充(chōng)分(fēn)多(duō)的(de)，各(gè)种(zhǒng)各(gè)样(yàng)领(lǐng)域文本(běn)的(de)语(yǔ)料(liào)知(zhī)识(shi)，它(tā)能(néng)够(gòu)推(tuī)理(lǐ)得(de)出(chū)文本(běn)之(zhī)间(jiān)最(zuì)可(kě)能(néng)的(de)关联(lián)关系(xì)。通(tōng)过(guò)大(dà)量(liàng)的(de)训(xun)练(liàn)，它(tā)可(kě)以(yǐ)帮(bāng)助(zhù)我(wǒ)们(men)做(zuò)很(hěn)多(duō)文本(běn)生(shēng)成(chéng)任(rèn)务(wu)。从(cóng)而能够进行文本分类、摘要、翻译、生成等多种任务。“大”在这里指的是模型的规模和复杂性。

具体到模型本身，它是含有数以亿计的参数，大模型的参数越多，这个模型就越强。大模型还可以进行后续的微调。微调就是引入我们人工的辅助，由大模型进行进一步的学习。随后它就可能生成更符合我们人类要求的文本。

什么是GPT

GPT：它是通用预训练转换器的简称，它其实就是OpenAI这个公司，基于通用预训练的基础的技术来生成的。用于我们自然语言处理的一个大的模型。主要的一个特点

生成式（Generative）：通过学习大量文本数据的统计规律，生成连贯、自然的文本

预训练（Pre-trained）：在大规模无标注文本上训练，掌握通用语言模式，再通过微调适应特定任务

变换器（Transformer）：基于Transformer架构，利用自注意力机制（Self-Attention）高效处理长文本依赖关系，支持并行计算

GPT的发展：

GPT-1（2018年）：首个基于Transformer的无监督预训练模型，参数1.17亿

GPT-2（2019年）：参数量增至15亿，支持多任务学习

GPT-3（2020年）：1750亿参数，具备零样本/小样本学习能力

GPT-4（2023年）：支持多模态（文本+图像），性能进一步提升

GPT-4o（2024年）：多模态扩展至文本、音频、图像组合输入与输出

关于DeepSeek：

DeepSeek 是一款由中国团队研发的大型语言模型，以其高性能、低成本和对中文的优化处理而著称

核心特点：

高性能与低成本：DeepSeek 采用 专家混合架构（MoE），总参数达 6710 亿，但每个 token 仅激活 370 亿参数，显著降低计算成本，实现“小力出奇迹”的效果

中文优化：通过 双通道注意力机制和大量中文语料训练，在中文语境下表现优于多数国际开源模型，成语匹配准确率达 89%

开源生态：采用 MIT 协议开源，支持本地部署和定制化开发，适合企业级应用。

维度

DeepSeek

ChatGPT

架构

MoE混合专家，动态激活模块

传统Transformer，全参数参与运算

成本

本地部署成本低

训练成本低

高昂（API调用是D的5-10倍）

中文能力

专优，支持成语和复杂语义

通用性强，

多语言覆盖

实时性

知识截止 2024 年

部分版本支持联网更新

多模态

仅文本（截至 2025 年）

支持图文混合输入

开放性

全系列模型开源，支持二次开发

不开源，提供API

算法偏见是什么？

算法偏见指AI因数据或设计问题，产生不公平、歧视性的结果。例如：

比如我们的训练数据里边，男生求职更倾向于某几类专(zhuān)业(yè)，女(nǚ)生(shēng)的(de)求(qiú)职(zhí)更倾向于某几类专业。这样就无形之中形成了对性别的职业的歧视。还有一些是社会文化的影响，开发者他可能无意识的会将一些自身的偏见带进去。比如说我们对于这种人脸识别系(xì)统(tǒng)，白(bái)人(rén)的(de)编(biān)程(chéng)员(yuán)，他(tā)可(kě)能(néng)更(gèng)多(duō)的(de)去(qù)选(xuǎn)择(zé)了(le)白(bái)人(rén)的(de)人(rén)脸(liǎn)进(jìn)行(xíng)训(xun)练(liàn)。对(duì)于(yú)黑(hēi)人(rén)深(shēn)色(sè)肤(fū)色(sè)人(rén)种(zhǒng)的(de)人(rén)脸(liǎn)的识别，那可能准确率会更低。

那算法偏见它导致的一个后果，在无形之中会加剧社会不平等，数据导致的偏差会导致结果性的偏差，会降低公众对算法的信(xìn)任(rèn)。解(jiě)决(jué)的(de)办(bàn)法(fǎ)。首(shǒu)先(xiān)就(jiù)是(shì)提(tí)高(gāo)数(shù)据(jù)的(de)多(duō)样(yàng)性(xìng)。第(dì)二(èr)个(gè)提(tí)高(gāo)算(suàn)法(fǎ)的(de)透(tòu)明(míng)度(dù)。还(hái)有(yǒu)一(yī)点(diǎn)，对(duì)算(suàn)法(fǎ)进(jìn)行(xíng)充(chōng)分(fēn)的伦理审查，改进或者是减少算法偏见对于现实社会的一个影响。

为什么大模型会“一本正经地胡说八道”？

这种现象称为AI幻觉（Hallucination），这个幻觉可以分成几种，事实性幻觉：与真实世界不符。还有一种我们叫忠实性幻觉，就是模型并不服从用户的指令产生。

产生幻觉的原因：

1.数据缺陷：训练数据包含错误或过时知识（如过时的科学结论）。

2.训(xun)练(liàn)漏(lòu)洞(dòng)：模(mó)型(xíng)过(guò)度(dù)依(yī)赖(lài)统(tǒng)计(jì)规(guī)律(lǜ)（如(rú)“多(duō)伦(lún)多(duō)”常(cháng)与(yǔ)“加(jiā)拿(ná)大(dà)”共(gòng)现，误认为它是首都）。

3.推理局限：复杂问题超出模型能力，强行编造答案。

风险：如何批判性使用大模型？

第一个是我们需要有独立的思考能力，不能单向的模型输出什么，我们就接受什么，我们需要自主再行的进行验证。第二个，我们要理解模型，它其实本身它并没有形成真正的对这个世界的认知。它只是尽可能的通过最大化的概率来生成一个最可能的答案。还有一个需要来注意恶意的一些数据的隐私的一些侵犯。这个幻觉问题目前并没有100%的解决，但是会有一些方向。比如说我们可以通过检索增强生成（RAG）、人工审核等减少幻觉。RAG我们简单的理解就是，我手头有一个大模型，同时我还能让它，现场新学知识，收到我们的提问之后，它可以一边基于它的知识库组织答案。一边还可以在互联网上或者是其它的知识库里面进行检索，来得出一个更新知识后的答案。

本文为·创作培育计划扶持作品

作者：人民日报

审核：贾宁 大连东软信息学院 教授

出品：中国科协科普部

监制：中国科学技术出版社有限公司、北京中科星河文化传媒有限公司

来源: 创作培育计划