用AI回消息?Wade测试结论:领导,请三思而后行,因为员工歧视AI
用AI回消息?Wade测试结论:领导,请三思而后行,因为员工歧视AI
李华芳 | 匹兹堡大学
随着AI的迅速发展,很多组织的领导人也开始使用AI工具来回复下属的消息,但是这样做的后果是什么呢?目前还不太清楚,最近有一项研究就试图回答这个问题。
研究者和一家叫做Zapier的公司合作。首先看员工是不是能够区分消息,到底是AI写的还是公司CEO Wade韦德先生写的,所以这项研究也被叫做韦德测试(Wade test)。接下来员工被要求回答这些消息是不是有用?
具体而言,研究者首先使用LLM训练了一个韦德聊天机器人(chatbot),这个聊天机器人利用了韦德先生曾经写过的邮件、公开发表的声明、以及其他的与他人沟通的信息,所以这个聊天机器人能模仿韦德的写作风格。
然后研究者让韦德本人和这个聊天机器人分别回复105个员工的信息,在韦德和聊天机器人回复之后,研究者们让员工们判断这是韦德回复你的还是机器人回复你,看员工是不是能够分辨回复来自AI还是来自CEO本人。结果显示,员工识别AI产生回复的准确率大概是59% 。
接着研究者问员工这些回复是不是有用。有意思的发现是,如果一个员工相信回复是由AI产生的,哪怕事实上回复消息是由CEO本人写作的,员工也会觉得这个回复没什么用。
这个研究有一个局限,是可能员工对韦德本人已经非常熟悉,所以研究进一步将AI产生的消息和CEO本人写作的消息随机发送给企业之外的218个人,看这些人是不是首先能够判断一个消息来自AI还是来自CEO本人,在判断完之后,接着问他们觉得这个消息是不是有用。
研究者得到了差不多的结果,如果一个人判断一个消息是来自AI,哪怕事实上来自CEO本人,也会觉得这个消息那么有用。反之如果一个人觉得这个消息是来自CEO本人,他事实上是由AI生成的,也会觉得这个消息比较有用,所以这是人类对AI的负面偏见(negative bias)。
研究者最后给出的建议是,如果领导人要用AI生成的内容和员工进行沟通,那最好要保持透明,也是要明哪些是自己写的那些用AI生成的。因为员工对信息是不是由AI生成的感知(perceptions)会影响他们对消息有用性的判断。一言以蔽之,员工会歧视AI。
Choudhury, P., Vanneste, B. S., & Zohrehvand, A. (2025). The Wade Test: Generative AI and CEO Communication. Harvard Business School Working Paper 25-008. https://www.hbs.edu/ris/Publication%20Files/25-008_7583ddd3-d5ed-46d5-9475-453a44da0f60.pdf
#读到之处 #AI研究
更多相关:


