警惕AI乱象，管理条例先行

任何事物都有两面性，AI在给大众带来便利的同时，也产生了一些乱象，需要警惕。

AI乱象初现

目前，AI造谣、AI换脸、AI作弊、AI杀猪盘等乱象已经出现。

AI造谣已经有案例。2025年3月，一则“有顶流明星在澳门输了10亿”的信息在互联网平台传播，引发热议，然而这其实是谣言。

据“公安部网安局”微信公众号消息，公安网安部门查明，网民徐某强为博取流量、谋取非法利益，于3月10日使用某软件中的AI智慧生成功能，输入社会热点词制作了标题为“顶流明星被曝境外豪赌输光十亿身价引发舆论海啸”的谣言信息，并通过互联网平台对外发布，导致谣言迅速传播扩散，引发大量网民议论，诱发相关谣言、话题等频繁登上热搜热榜，严重扰乱公共秩序。

公安机关根据相关法律法规，对徐某强处以行政拘留8日处罚。

在AI作弊方面，2月26日，中国围棋协会发布关于撤销违规运动员秦某某职业段位等处罚的情况通报。

通报称，2024年12月15日，职业棋手秦某某在参加全国围棋锦标赛（个人）女子组第九轮比赛时，被裁判赛中例行抽检发现携带手机，并在手机上使用人工智能程序。经查看当日赛场视频，听取现场裁判、棋手、工作人员证言，证实秦某某当天凌晨进入赛场藏匿手机且在比赛过程中作弊，藐视赛场纪律，被询问有关事实时存在隐瞒行为，情节严重。

根据《中国围棋协会纪律准则和处罚规定》等相关规定，综合考虑违规事实情节及本人态度，经中国围棋协会纪律与道德工作委员会研究决定，对秦某某处以撤销职业段位、取消2024年全国围棋锦标赛（个人）成绩的处罚，禁止其参加中国围棋协会及会员单位组织或授权组织的所有围棋赛事和活动8年。

在AI杀猪盘方面，据《法治日报》消息，上海市公安局闵行分局破获一起犯罪团伙利用AI生成美女视频，“广撒网式”的电信网络诈骗案，涉案资金200余万元。

警方经侦查，逐步明确了一个以杨某为首的利用AI生成照片和视频进行诈骗的团伙。该团伙在通过嘘寒问暖、赠送手串等方式和被害人确立“恋爱关系”后，利用“购买礼物”等理由进一步筛选潜在被害人。最后，嫌疑人谎称家属住院需要高额手术费，通过修图技术，制作虚假身份证和病历，提供给被害人。被害人往往会在层层套路中越陷越深，直至人财两空后才如梦初醒。

在AI非法荐股方面，2025年3月，抖音安全中心发布《关于打击“非法荐股”等违法证券活动的公告》称，部分账号在无证券从业资质的情况下，以“AI选股高收益”“炒股课程培训”为噱头诱导用户关注，甚至通过虚假承诺实施诈骗。平台已对相关账号采取封禁、下架视频、收回营利权限等处置措施，情节严重者将移交公安机关。

例如“爱股*队”“爱股*女”等账号在无相关资质的情况下，以“炒股神器”“时代机遇”“炒股机遇最大化”为噱头，推广或兜售某几款AI类工具的培训课程。个别账号还发布引流信息，诱导用户脱离抖音后前往第三方平台，甚至对其实施诈骗等违法行为。

另外，对于AI换脸导致的诈骗问题，全国政协委员靳东表示：“一些喜欢我影视剧的观众，被AI换脸视频骗得很惨，这个性质非常恶劣，希望能建立更好的规则。”

全国人大代表、小米集团创始人、董事长兼CEO雷军表示，“AI换脸拟声”不当滥用成为违法侵权行为的重灾区，易引发侵犯肖像权、侵犯公民个人信息以及诈骗等犯罪行为，不利于构建“以人为本、智能向善”的人工智能发展生态。

全国人大代表、TCL创始人、董事长李东生表示，随着生成式人工智能技术的发展，深度伪造技术也快速发展。对于防止AI深度伪造欺诈，他建议：一是加快人工智能深度合成内容标识管理规章制度的出台；二是明确对人工智能深度合成服务商未履行标识义务的惩罚制度，完善未按要求进行标识的行为界定、分类细则，以及相应的处罚标准；三是加强深度合成内容标识技术标准和发布的管理，保证标识的有效性，对相关内容平台出台要求，用户在发布深度合成的视频、音频等内容时，有义务对其进行标识；四是加强国际合作，形成对人工智能深度合成内容的有效监管。

管理条例出台，规范人工智能发展

目前，我国已经有相关法规对AI进行规范。

2023年1月实施的《互联网信息服务深度合成管理规定》在第十七条指出，若深度合成服务提供者提供的智能对话、智能写作、合成人声、仿声、人脸生成、人脸替换、人脸操控、姿态操控、沉浸式拟真场景，以及其他具有生成或者显著改变信息内容功能的生成或者编辑服务，可能导致公众混淆或者误认的，应当在生成或者编辑的信息内容的合理位置、区域进行显著标识，向公众提示深度合成情况。深度合成服务提供者提供前款规定之外的深度合成服务的，应当提供显著标识功能，并提示深度合成服务使用者可以进行显著标识。

2023年8月实施的《生成式人工智能服务管理暂行办法》（以下简称：《办法》）第四条指出，提供和使用生成式人工智能服务，应当遵守法律、行政法规，尊重社会公德和伦理道德。

《办法》要求，坚持社会主义核心价值观，不得生成虚假有害信息；在算法设计、训练数据选择、模型生成和优化、提供服务等过程中，采取有效措施防止产生民族、信仰、国别、地域、性别、年龄、职业、健康等歧视；尊重知识产权、商业道德，保守商业秘密，不得利用算法、数据、平台等优势，实施垄断和不正当竞争行为；尊重他人合法权益，不得危害他人身心健康，不得侵害他人肖像权、名誉权、荣誉权、隐私权和个人信息权益；基于服务类型特点，采取有效措施，提升生成式人工智能服务的透明度，提高生成内容的准确性和可靠性。

在监督检查和法律责任方面，《办法》第九条指出，提供者应当依法承担网络信息内容生产者责任，履行网络信息安全义务。涉及个人信息的，应依法承担个人信息处理者责任，履行个人信息保护义务。

第十一条规定，提供者对使用者的输入信息和使用记录应当依法履行保护义务，不得收集非必要个人信息，不得非法留存能够识别使用者身份的输入信息和使用记录，不得非法向他人提供使用者的输入信息和使用记录。

第十四条指出，提供者发现违法内容的，应当及时采取停止生成、停止传输、消除等处置措施，采取模型优化训练等措施进行整改，并向有关主管部门报告。