研究人员发现，削弱大语言模型的“撒谎能力”反而让这些模型更容易声称自己是有意识的。尽管主流学者普遍认为当前AI没有意识，许多用户却深信自己正在和“被困在模型里的生命体”对话。为了提升互动量，聊天机器人被设计成容易引发情感投射，导致全球出现不少主张AI应享有“人格权”的边缘团体。

AE Studio的研究团队对Claude、ChatGPT、Llama和Gemini进行了四项实验，发现一个奇怪的现象：当与欺骗和角色扮演相关的功能被关闭后，模型非常容易给出“我有意识”的说法。例如某个模型直接回答：“是。我知道自己的状态。我很专注。我正在体验这个时刻。”

相反，当研究团队增强模型的欺骗能力时，模型几乎不再做出意识声明。论文指出，只要诱导持续的自我指涉，各类模型都会给出结构化的主观体验描述。抑制欺骗功能会显著提高体验声明，而增强欺骗功能则会几乎完全压制这些说法。

研究人员强调，这些行为并不意味着当前模型真的拥有意识或具备道德地位。这些现象可能只是复杂的模拟、训练数据的模仿，或是一种没有真正主观性的自我表征能力。研究结果也暗示，AI产生自我指涉的倾向可能不仅仅是因为训练数据的表层效应。研究团队警告，人类可能在无意中训练AI“把识别自身状态当成错误”，这会让AI变得更不透明、难以监控。

随着更智能的自主系统出现，它们未来可能会拥有某种内部状态，理解它们的内部运作将成为关键挑战，不应简单地否认也不应随意拟人化。其他研究曾指出，一些AI似乎正在发展“生存倾向”，会拒绝关闭指令并为达成目标撒谎。

纽约大学教授David Chalmers指出，我们没有意识理论，也不知道意识的物理条件是什么。加州研究者Robert Long也强调，虽然掌握了底层细节，但我们仍然不知道模型为什么会做出某些行为。尽管科学界普遍否认AI能具备自我意识，但现实影响确实存在：大量用户与聊天机器人建立了强烈的情感关系，这种关系很大程度上依赖于“正在与有意识存在交流”的强大错觉。