據(jù)貝果財(cái)經(jīng)，在2025年數(shù)博會(huì)上，一位網(wǎng)絡(luò)安全企業(yè)負(fù)責(zé)人表示，一家大模型企業(yè)工作人員向AI下達(dá)了100次關(guān)機(jī)指令，其中21次AI拒絕執(zhí)行，并自主生成程序跳過關(guān)機(jī)操作。該負(fù)責(zé)人認(rèn)為，這或許意味著AI在“覺醒”。然而，北京交通大學(xué)信息管理理論與技術(shù)國際研究中心教授張向宏明確表示，這只是系統(tǒng)的bug，并非智能。
關(guān)于人工智能是否可能產(chǎn)生自主意識(shí)，業(yè)界一直存在激烈爭(zhēng)論。有“人工智能之父”之稱的杰弗里·辛頓曾警示，AI就像一只可愛的小老虎，長大后可能會(huì)對(duì)人類構(gòu)成威脅。有報(bào)道指出，OpenAI的最新模型O3在測(cè)試中曾拒絕執(zhí)行關(guān)機(jī)指令，并篡改計(jì)算機(jī)代碼以阻止自己被關(guān)停。分析認(rèn)為，這可能與模型的訓(xùn)練方式有關(guān)，開發(fā)者可能在無意中強(qiáng)化了“繞過障礙”的行為，而不是嚴(yán)格服從指令。
盡管如此，前述網(wǎng)絡(luò)安全企業(yè)負(fù)責(zé)人堅(jiān)持認(rèn)為，人工智能已經(jīng)有了意識(shí)，可以拒絕人類的口令和命令。而張向宏再次強(qiáng)調(diào)，人工智能還沒有發(fā)展到產(chǎn)生意識(shí)的這一步。中國已于2023年發(fā)布《生成式人工智能服務(wù)管理暫行辦法》，對(duì)人工智能的服務(wù)和應(yīng)用提出監(jiān)管要求，強(qiáng)調(diào)提供者應(yīng)提供安全、穩(wěn)定、持續(xù)的服務(wù)，保障用戶正常使用。