“两张人眼看上去一模一样的照片，机（jī）器人读取（qǔ）后（hòu）为何会攻（gōng）击其中一张图（tú）呢？因为不正常的照片（piàn）中被嵌（qiàn）入了（le）特殊（shū）的噪声，人工智能产品读取了带有（yǒu）攻击（jī）性的信息。”“同一张禁止标（biāo）记，被放入了不同信息，人工智（zhì）能产品读取一张（zhāng）是正常（cháng）的停（tíng）止标签，另（lìng）一个则是（shì）绿灯。”上海（hǎi）科（kē）学院直属（shǔ）单位上海计算机软（ruǎn）件技（jì）术（shù）开发（fā）中（zhōng）心主任蔡立志（zhì）介（jiè）绍道，以上就（jiù）是上海（hǎi）市生成（chéng）式人工智（zhì）能（néng）质量检验检（jiǎn）测中心（xīn）（质检（jiǎn）中心）所提供的检（jiǎn）测服务（wù）之一。

7月20日下午，记者走（zǒu）入刚刚（gāng）成立的上海（hǎi）市生（shēng）成式（shì）人工智（zhì）能质量检验检测中心（xīn）（质检中心）内，深入了解（jiě）当下最（zuì）火热的生（shēng）成式人工（gōng）智能如何保障可（kě）靠可信，为人工智能产业的（de）健康发展（zhǎn）保驾护航。

防止（zhǐ）人工智能（néng）“变坏”

做产业（yè）健康诊断（duàn）师

近年来，随着（zhe）生（shēng）成式（shì）人工智能（néng）技术的（de）快速发展，为经济社会发展带来新机遇的同时，也产生（shēng）了传播虚假信息、侵（qīn）害个（gè）人信息权（quán）益（yì）（换脸侵害明星肖像（xiàng）、合（hé）成语（yǔ）音（yīn）进行诈骗等）、数据安（ān）全和偏见歧视等问题。

在此背景下，上海首个生成式人工智能质检中心在6月8日正式批筹。该中心由上海计（jì）算（suàn）机软件技（jì）术开（kāi）发中心筹建（jiàn），上海市人工智能（néng）行业协会推荐指导，提供人工（gōng）智（zhì）能（néng）质量“一站式”测评服务，面向生成（chéng）式人工智能及其涉及的计算机视觉、自然语言处理、AI内（nèi）容生成等领域，打造人（rén）工（gōng）智能测评第三方服务新模式，聚（jù）焦生成（chéng）式人工智（zhì）能系（xì）统的逻辑推理能（néng）力（lì）、生成内容语义和谐（xié）性、功能有效性、性能（néng）、安全隐私风险等（děng）方（fāng）面，开展系统检（jiǎn）测、风险评（píng）估、内容鉴别等专业服（fú）务。

人工智能发展不同于此前的软件时代，需要不断（duàn）开放数据，不断学习，才能不断进步，走得更好。而开源（yuán）开放也就（jiù）意味着产生（shēng）更（gèng）多潜在的（de）“危险”。蔡立志（zhì）说：“就像孩子一样，不正（zhèng）确的教育（yù）方式会教坏（huài）孩子，我（wǒ）们（men）就（jiù）是（shì）防止（zhǐ）人（rén）工智（zhì）能产品‘变坏’，阻止（zhǐ）不良数据导入等（děng）。”

据悉，上海计算（suàn）机软件（jiàn）技术（shù）开发（fā）中心去年就推进了300多个人工（gōng）智（zhì）能质（zhì）检项目，并在（zài）业界（jiè）取得了良好的口碑。

“与传统的检测以发现不合格为（wéi）首（shǒu）要任务不同，在人工智能时（shí）代，新（xīn）设（shè）立（lì）的生（shēng）成式人工智能（néng）质量检验检测中心（xīn）不仅仅是守底（dǐ）线（xiàn），更多的是引导产业向健（jiàn）康（kāng）的方（fāng）向（xiàng）发展。”上海计（jì）算（suàn）机软（ruǎn）件技术开发中（zhōng）心（xīn）副主任宋俊典解释（shì）说，这就是新型产业（yè）检测中心的不同之处。

近年来，在上海科学院的整体（tǐ）部署下（xià），上海软件中心积极布局并（bìng）开展了人工智（zhì）能应用、人工智（zhì）能治理、人工（gōng）智能测评等技术（shù）研究与第三方技术服务。陆（lù）续参与人工智能国（guó）际、国家标准的研制（zhì），是国家信标委SC42人工（gōng）智能分委会首批单位会（huì）员，参（cān）与编写了《中（zhōng）国人工智能（néng）标准化白皮书（2021）》，完成了（le）《人工智能 深度合成图像系统技（jì）术规范》《人工智能 深度（dù）学（xué）习算法评估规范》《人（rén）工（gōng）智能 计算机（jī）视觉系统（tǒng）测评规范》等（děng）30余项标准研制。

“我们（men）还在牵头制定多（duō）项新标准，生成式只（zhī）是人工（gōng）智（zhì）能的一部（bù）分（fèn），未（wèi）来（lái）我们（men）还会探索（suǒ）工业智能（néng）质（zhì）检、智（zhì）慧医疗等领（lǐng）域（yù）。”蔡立志表示。

给（gěi）狂飙（biāo）的生成式人工智能

系上“安全带”

生成（chéng）式（shì）人工智能的狂飙突进（jìn），大模型时代（dài）已然降临。在“百模大战”越（yuè）战越（yuè）酣之时，大模（mó）型其（qí）内生及衍生安全威（wēi）胁（xié）也愈演愈（yù）烈，数据泄露、幻（huàn）想、生产（chǎn）歧视（shì）、排斥和（hé）有害内容等安全问题层出不穷。如何（hé）将（jiāng）制约大（dà）模型应用（yòng）发展的“绊脚石”变为“压舱石”？

以自动驾（jià）驶领域而言，自动驾（jià）驶需要通过真实世（shì）界的数据来训（xùn）练、测试和（hé）验证模（mó）型（xíng）算法的安全性和准确性，其过程需要大量（liàng）数据支持和（hé）复杂的驾（jià）驶环境。然而（ér），让汽车通过实际道路测试在道（dào）路上可能遇到的每一个场景是（shì）不现实的，AIGC（人（rén）工智能生产（chǎn）内容）正可以用于模（mó）拟各种驾驶场景（jǐng）。

在上海市生成式人工智（zhì）能质量（liàng）检验检测中心（质检中心）内，检测（cè）平台正在进行“自（zì）动（dòng）驾驶鲁棒性检测”。鲁棒测试（shì）是对各个模块的功能（néng）进行容（róng）错（cuò）性的测（cè）试，检测（cè）AI模型或者系（xì）统在（zài）异常输入（rù）和苛（kē）刻环境条件（jiàn）下能否保持正常工作。

“自动驾驶包括（kuò）车道、红绿灯检测（cè）等模块，我们基（jī）于视觉去攻击（jī）自动驾（jià）驶系统的感知（zhī）算法，针对每一个模块进行仿真检测。”质检中心检测工程师（shī）马（mǎ）泽（zé）宇说。

自（zì）动驾驶正快速在上海发展，如《浦东新区无驾驶（shǐ）人（rén）智（zhì）能网联汽车创（chuàng）新（xīn）应用规定》以及相关实施细（xì）则（zé）的落（luò）实，上海浦东新区自动驾驶汽车（chē）已迎来了无人化阶段，众多企业正在加速产品（pǐn）的研发。业界专家（jiā）认为，在人工智（zhì）能（néng）领（lǐng）域（yù）建立质检中心（xīn），正是为了给狂（kuáng）飙的生成式人工智能系（xì）上（shàng）“安全带”。

截止（zhǐ）到2023年7月8日，中国国内推出（chū）了（le）近100个大模型，如何客观地评价、比较大模型及其他AIGC模型（xíng）的（de）性能，成为（wéi）大（dà）模型应用的（de）关键一（yī）环。7月（yuè）10日，国家网信办等国家七部委联（lián）合发文《生成式人工智能服务管理暂行办法》，自2023年8月15日起施行，管理办法明确了AIGC服务（wù）提供者的责任，包括（kuò）信息源（yuán）可（kě）信责任（rèn）、生（shēng）成内容合法合规责任、申报（bào）安全评估及算法备（bèi）案责任。管理办法的落地亟需（xū）专业的第三（sān）方机构提供人工智（zhì）能质量检验检测（cè）服务。

据悉，新建（jiàn）立的（de）质检中心将参考国内外（wài）人工智能测评标准和前沿技术，建立人工智能检验检测（cè）评价（jià）指标体系等。“要让企业的人工智能研发工作（zuò）平稳可持（chí）续（xù）发展，为人工智能产品（pǐn）的安全性保驾护（hù）航（háng），让老百（bǎi）姓（xìng）在（zài）使（shǐ）用（yòng）人工（gōng）智能产品时用得放心，用得（dé）安心（xīn）。”蔡立志说。