心理学研究, 2023 年, 第 12 卷, 第 2 篇 doi: 10.5376/pr.cn.2023.12.0002
收稿日期: 2023年07月31日 接受日期: 2023年08月08日 发表日期: 2023年08月16日
刘楚楚, 2023, 人类与AI的协同工作:优势、挑战与最佳实践, 心理学研究, 12(2): 1-9 (doi: 10.5376/pr.cn.2023.12.0002) (Liu Chuchu, 2023, Collaborative work between humans and AI: advantages, challenges, and best practices), Xinlixue Yanjiu (Psychological Research), 12(2): 1-9 (doi: 10.5376/pr.cn.2023.12.0002))
随着人工智能技术的快速发展,人类与AI系统之间的协同工作模式备受关注。本综述从人工智能与人类协同工作的现状、挑战与未来发展等方面展开,介绍了人机协作的意义所在,即既可以提升工作效率,也可以实现更人性化的服务,为许多领域的发展提供了新的可能。但是实现有效的人机协同还面临技术、法律伦理以及社会文化层面的挑战。其中技术上需要解决数据质量与算法健壮性问题;法规和伦理上需要关注用户隐私保护及算法判断的公平性;就业失业也引发文化层面关注。要推进人机协同,需要在系统设计、实施运营、培训等环节采取科学的方法与最佳实践。这需要在技术进步的同时,关注社会影响并建立支持性制度。长期来看,如果处理得当,人类与AI的协同工作前景广阔。这需要各界共同努力,在效率提升的同时兼顾人性化。本综述对人机互补的知识与现状提供了概览与分析,也提出了未来发展的建议,可为该领域的研究与实践提供参考。
Collaborative Work between Humans and AI: Advantages, Challenges, and Best Practices
Liu Chuchu *
Daxi Culture Service Ltd., Zhuji, 311800, China
*Corresponding author, natasha@sophiapublisher.com
Abstract With the rapid development of artificial intelligence technology, the collaborative work model between humans and AI systems has received extensive attention. This review elaborates on the current status, challenges and future developments of human-AI collaboration. It introduces the significance of human-machine collaboration, which can improve work efficiency and realize more humanized services, providing new possibilities for the development of many fields. However, effective human-machine collaboration also faces challenges in terms of technology, laws and ethics, and socio-cultural aspects. Technically, issues of data quality and algorithm robustness need to be addressed. For laws and ethics, user privacy protection and algorithmic fairness need attention. Employment impacts also raise socio-cultural concerns. To advance human-AI collaboration, scientific methods and best practices should be adopted across system design, implementation, training and other aspects. This requires focusing on social impacts while technological progress continues, and establishing supportive institutions. In the long run, with proper management, the prospects of human-AI collaboration are broad. This calls for collaborative efforts from all parties to pursue efficiency gains while respecting human considerations. This review provides an overview and analysis of the knowledge and status quo of human-machine complementarity, and proposes suggestions for future development, serving as a reference for research and practice in this field.
Keywords Artificial intelligence; Human-AI collaboration; Advantages; Challenges; Ethics; Employment
近年来,人工智能技术取得了长足的发展,在各个领域得到广泛应用。特别是深度学习算法的进步,大幅提升了人工智能处理图像、语音、视频等非结构化数据的能力。当前人工智能技术已渗透到工业生产、医疗健康、交通运输、金融服务等多个行业,为企业和社会创造了巨大价值(Reddy et al., 2020)。
例如,在制造业中,人工智能可用于质量控制、生产流程优化、设备故障预测等,提高产品质量和生产效率。在医疗领域,人工智能可辅助医生读片和制定个性化治疗方案。智能助手、自动驾驶等人工智能应用也正在普及,改变和影响着人们的生活与工作方式。2022年,OpenAI开发的ChatGPT语言模型给人工智能领域带来了全新的进展。ChatGPT可以进行自然语言理解和生成,具有一定的语言表达能力和常识知识。它代表了预训练语言模型技术的最新进展,在对话功能、文本生成等方面展现了强大的语言处理能力。ChatGPT的出现推动人工智能从专注狭窄任务向通用智能发展,也带来了人机交互的新方向。
人类与人工智能的协同工作是指人类与人工智能系统共同完成工作任务,相互配合与协作的工作方式。这种工作方式的优势在于整合了人类智能与人工智能各自的长处,实现互补。相比于由人类单独或由人工智能单独完成工作,人机协同工作可以提高工作效率,创造更大价值。因此,在当前人工智能快速发展的背景下,研究人类与AI的最佳协同方式,充分发挥各自优势,实现共赢发展,是关系到未来社会发展和各行各业进步的重要课题。
1人类与AI的协同工作优势
人类与AI的协同工作可以发挥各自的优势,实现高效的协作,从而带来许多好处。相比单独依靠人类或AI完成工作,人机合作使整体系统的效率和性能大大提高(图1)。具体来说,AI系统的优势在于计算速度快、不知疲倦、能并行处理大量信息。而人类的优势在于灵活思考、把握全局、做出判断。当人类和AI系统结合时,人类可以制定全局策略,AI可以快速计算执行细节;人类可以提出创造性设计,AI可以对多种方案进行模拟评估;人类可以进行情境化处理,而AI可以确保规模化实施。
图1人机协同工作 Figure 1 Human-AI collaboration |
通过人机协同,整个系统可以兼具人类的智慧与AI的计算力、海量信息处理能力。它结合了人类的独创力与机器的效率、精准性,可以做出更深入、更全面的分析,从而释放价值、创造效益。因此,人机协同是未来发展的重要方向。
1.1效率和生产力的提升
与人类专家协作的AI系统可以处理大量数据,快速提供洞察和建议,帮助人类专家提高决策效率。在工业生产中,AI分析历史数据,优化生产流程,减少不必要的操作步骤。这可以显著提高生产效率和产出。
研究发现,当人类和机器协同工作时,公司能够实现最显著的绩效改进(Wilson and Daugherty, 2018)。通过这种协同智能,人类和AI能够积极增强彼此的互补优势:前者的领导力、团队合作、创造力和社交技能,以及后者的速度、可扩展性和定量能力。对人类来说很自然的事情,对机器可能很棘手,而对机器很简单的事情对人类来说几乎是不可能的。
比如在复杂的工业流程和质量控制中,AI可以持续分析各种参数对产品质量的影响,根据实时反馈不断优化设备配置、生产参数等,这远超过人工的调整能力。在医药研发中,AI可以高效筛选数以万计的潜在药物分子,找到最有希望的候选对象供人类专家进一步研究,大大缩短研发周期。在知识密集型工作如法律、会计等行业,AI系统可以快速分析大量案例材料,提供相关建议,辅助人类专业人员提高工作产出。销售领域也是人机协作提效的典型场景,AI销售助手可以实时分析客户数据,推荐个性化的产品和销售方案。
总之,AI的计算能力和海量信息处理能力(图2),与人类专家的经验相结合,可以显著提升决策和业务流程效率,增强企业的整体生产力。这是人机协同的重要价值所在。
图2 AI的信息处理能力 Figure 2 Information processing capability of AI |
1.2协助解决复杂问题
AI擅长大规模并行计算和深度学习,可以发现人类难以觉察的模式,提供新的视角。在医学领域,AI辅助工具可以整合多维数据,帮助医生精确诊断和制定个性化治疗方案。在科研中,AI也可帮助人类科学家解决非常复杂的问题。
比如,在疾病诊断中,AI可以综合分析病历、临床指标以及各种医疗图像,发现潜在的相关性,提供医生更全面和客观的依据(图3)。在新药研发中,AI通过对巨量化学结构进行高通量虚拟筛选,并预测其药效和毒性,可有效缩小药物候选范围,指导后续药物优化方向。
图3 AI在医疗中的应用 Figure 3 Applications of AI in healthcare |
在材料科学、量子物理等领域,AI辅助设计也产生了深远影响。AI可以快速模拟设计各种新材料或量子物质的性能,探索其可能的结构组合,找到理想的设计方案。这加速了人类对新物质的发现和应用。
在需要处理多源异构数据并进行复杂推理的领域,AI作为辅助工具,可以提高研究效率,开拓更广阔的设计空间,协助人类专家获得更深入的认知,解决过去难以攻克的复杂问题。这展现了人机协同工作模式的独特价值。
1.3无人值守的自动化和优化
在一些危险或需要大规模计算的工作中,AI automation可以进行无人值守的操作,达到人类难以企及的效果。例如无人驾驶汽车技术,可以在无人监控下安全运输。在制造业中,AI可不断优化生产工艺和质量检测流程(图4)。
图4 AI在制造业中的应用 Figure 4 Applications of AI in manufacturing industry |
具体来说,在放射性、炸药等危险物质的处理以及太空等艰苦环境中,AI机器人可以替代人类完成作业,大大减少安全事故风险。无人机、无人车等可以进行复杂的环境感知、运动控制和协同工作,完成人类无法做到的任务。
在网络安全、反欺诈等领域,AI可以实时分析海量数据,找出异常情况,做出秒级响应,远超人工的分析力。制造业中,AI可以根据设备状态、原材料等数据持续调整参数,实现自动化的质量优化。这类应用充分发挥了AI在处理高维度数据和作出实时决策上的独特优势。
让AI承担重复、危险或对算力要求极高的工作,不仅可以提升效率,也是实现人机最优协作的重要一环。人类可以把更多时间放在创新和判断非程序化问题上,与AI实现良性互补。
1.4个性化和高度自定义的解决方案
AI系统还可以利用大数据生成用户画像,根据每个用户的特点和需求提供个性化服务和建议。从教育培训到医疗建议,AI都可以做出高度个性化的响应。
例如智能教学系统可以跟踪每个学生的学习情况和习惯,调整教学进度和方式,提供自定义的学习建议。医疗健康领域,基于患者的病史、生理参数等数据,AI可以生成个性化的治疗方案,比如药物组合、剂量以及生活方式指导。电商平台也越来越多地使用AI分析用户特征,进行精准营销和个性化推荐。
这些应用都依赖AI处理海量数据,进行细粒度用户画像分析的能力。与人类专家结合,可以全面考虑每个人的独特需求和情况,做出个性化的决策,而不是简单应用一揽子标准方案(Jiang et al., 2017)。这也是人机协作的一大优势所在。
1.5实例研究
许多成功案例展现了人机协作的优势。例如IBM与医院合作,利用AI辅助医生提高了癌症治疗成功率达10%。谷歌DeepMind的AlphaGo凭借机器学习算法在围棋上打败人类顶级高手,展现了AI在复杂规划和策略上的优势。这些都是人类与AI合作的典型用例。
此外,近年来,ChatGPT等预训练语言模型也展现了在自然语言处理任务上的强大能力(图5)。研究显示,ChatGPT可帮助学生更快更好地写作论文,生成文摘和背景信息等初稿(Hill-Yardin et al., 2023)。在文案写作中,ChatGPT也可以根据提示快速生成适合不同品牌和目标受众的营销内容。这些都展示了ChatGPT强大的语言生成能力,以及在创意写作中与人类专业写作者的协同效应。
图5 ChatGPT的应用 Figure 5 Application of ChatGPT |
2人类与AI的协同工作挑战
尽管人机协同工作模式有很多潜在的好处,但要真正实现人类与AI的效果协作,还面临一些挑战需要解决。主要包括技术层面的数据质量与算法健壮性问题,法律伦理方面的隐私保护及公平性(Algorithmic Fairness)问题,以及社会文化层面的就业和技能转型问题。这需要在技术和制度两方面进行持续的努力。
2.1技术问题:数据质量、算法复杂性等
人机协同系统的性能高度依赖训练数据的质量。如果数据存在偏差、不完整,将导致AI模型产生错误输出。同时,保证复杂算法系统的健壮性也非常具有挑战性。这需要研发团队不断进行数据调优和模型验证。
如果训练数据主要来源于某些群体,那么AI系统很可能对其他被忽略的群体产生偏见。例如面部识别算法在肤色较深的群体上效果往往较差,因为大多训练数据基于白人面部(Raji et al., 2020)。除数据质量外,复杂神经网络也存在难以解释和验证的“黑箱”问题。它们的判断依据难以被人类理解,一旦出现失误,也难以查找原因(Castelvecchi, 2016)。这增加了部署人机协同系统的风险,需要研发团队从数据和模型两个方面不断提高算法的可解释性、健壮性与公平性。
2.2法律和伦理问题:隐私、公平性等
AI系统涉及大量个人敏感数据的收集和应用,如何在提供智能服务的同时保护用户隐私是一个难题。此外,算法本身也可能存在选择性偏见,如何保证其判断的公平性也需要关注。这些都需要制定明确的法律政策与企业伦理规定来规范。
例如,一次医疗人机协作项目收集了数千患者的医疗图像和报告来训练AI诊断系统,这极易导致患者隐私泄露(Mehrabi et al., 2021)。此外,针对刑事犯罪的预测模型也可能对某些族裔群体进行歧视性预测(Lum and Isaac, 2016)。要解决这些问题,需要在系统开发过程中加入隐私保护机制,同时持续检验算法并消除已有的偏见。立法部门也需要制定数据隐私和算法审查的政策法规与企业和研究机构建立起伦理规范体系。这需要技术手段与制度建设的紧密配合,才能在人机协同中兼顾效率与伦理风险控制(Fjeld et al., 2020)。除了立法部门和企业,个人在使用AI系统时也应该注意隐私保护措施,如审查隐私政策,了解AI系统将如何使用个人信息。避免使用收集大量私人信息但隐私保护不到位的AI服务。谨慎分享个人敏感信息如生物识别数据、位置信息、网络行为等。只有必要时才同意共享此类信息用于训练AI模型。
2.3社会和文化问题:工作失业、技能差距等
AI取代人类在某些工作岗位上的地位也引发社会文化层面的担忧。如何在发挥AI效率的同时避免大规模技术性失业,使不同人群公平获取相关技能参与AI时代的发展等,需要社会各界持续讨论与行动。
有人预计到2030年,约有800万美国制造业工人可能会被自动化所取代(Manyika et al., 2017)。这不仅会造成大规模失业,也会加剧社会贫富差距。另外,不同年龄、性别和种族群体获得相关技能培训的机会也存在差异,这会导致某些群体更难适应AI时代的就业转型(Hagendorff, 2020)。
为了应对这些社会影响,需要政府部门密切监测就业市场变化,制定积极的劳动政策;教育系统也需要加强各群体的STEM技能培养;企业内部则可以提供在职培训,帮助员工适应新岗位要求。如果处理不当,AI对就业的冲击可能导致社会动荡,因此这需要社会全力以赴进行平稳的转型。
2.4实例研究
一些典型案例中也出现了人机协同的问题。例如亚马逊一度试验将人工智能系统应用于招聘时出现性别歧视;微软的聊天机器人Tay在与网民互动后学习到了歧视言论。这些都表明在实践中还需谨慎对待人机互动与管理。
亚马逊的算法根据历史招聘数据训练,由于技术行业中女性比例较低,它偏向推荐男性应聘者(Dastin, 2022)。这反映出如果训练数据存在历史偏见,AI可能得出不公平的判断。而微软的Tay机器人则证明了AI系统可以通过互动学习到负面或有害的语言。处理类似安全与伦理风险需要开发团队加强系统监控,及时干预异常行为(Wolf et al., 2017)。
人机协同的潜在问题远不止上述几例。近年出现的深伪技术(Deepfake)技术也可能被用来生成虚假的音视频资料欺骗公众(Westerlund, 2019)。还可能出现智能武器被黑客攻击导致危害等极端后果。这些都提示人机协同中的伦理风险控制必须高度重视,需要技术团队时刻保持高度的安全与道德意识。
3人类与AI的协同工作最佳实践
要实现人与AI的协同并释放其潜力,需要在系统的整个生命周期中采取适当的方法与最佳实践。主要包括设计阶段进行充分测试验证,运营阶段建立持续维护机制,以及加强用户培训来缩小认知差距。此外,确保数据和算法的公平性也是关键。只有注意整个流程的科学性与人性化,人机协作才能体现出稳健高效的合作模式。
3.1设计和开发阶段的最佳实践:包括测试和验证等
在设计阶段,需要进行大量测试以评估人机系统的可靠性、安全性和与人类的协作性能。验证数据集必须涵盖各种情况,重点检验边缘案例。在开发过程中,要关注算法的健壮性、解释性和公平性,避免数据与算法偏见。需要建立可追溯的数据来源与处理流程,保证关键决策的透明度。
具体来说,测试人员需要设计各种用例,模拟实际使用环境,全面考察系统性能。需要关注人机交互的可靠性,如语音识别的准确率、语义解析的正确性等。同时测试人机协作完成任务的效率提升情况。安全性测试也至关重要,需要模拟各种攻击情况,评估系统的稳健性。另外,还应该设置具有代表性的用户组,收集他们的使用反馈,不断优化人机交互流程。在算法开发上,要检验机器学习模型在各种少见情况下的判断力,避免过拟合现有数据。借助技术如数据可视化和解释性AI等也有助于提高算法透明度和健壮性。
3.2实施和运营阶段的最佳实践:包括维护和升级等
实施后,要建立常规的维护与迭代机制,持续优化系统性能。重大升级前应进行全面测试。同时建立监控预警系统,识别人机协作中的不安全因素和非理性行为。运营需要保证系统高可用性,并能够与人类用户进行有效沟通与协调。
具体而言,要定期检查系统日志,分析出现的问题模式,识别需要优化的模块。重要升级需要在测试环境先进行全面的功能测试、性能测试等。在线上环境要实时监控系统指标,如响应时间、错误率等,并设置阈值预警。如果出现重大故障,要及时收集诊断信息,快速定位问题原因。此外,对人机之间的互动内容也需要监测,用以识别不当行为,进行及时干预。在运营方面,需要建立完善的文档与用户反馈渠道,使得系统运营人员能够清楚地理解用户需求,并做出对应调整。
3.3培训和教育阶段的最佳实践:包括用户培训等
为使用者提供充分培训与指导,减少认知差距,有助于实践中建立互信。培训要关注日常使用场景,帮助用户做出明智的人机分工与决策。除基础技能外,也应加强道德与安全意识培养。持续收集用户反馈,调整系统与培训内容。
培训要涵盖系统的基本操作、结果解读以及可能出现的风险等方面。可以设置模拟场景让用户掌握决策思路。除技能培训外,还需要培养用户对比人机优劣势的理解,做到知所归属,完成合理分工。此外,培训中也应当通过典型案例讲解算法局限性,减少用户过度依赖。培训后要持续进行跟踪,了解用户的使用状况,区分培训不足与系统本身需要改进的地方。收集反馈也有助于完善培训内容与形式。
3.4实例研究
一些成功案例为人机协作提供了可资借鉴的经验。如IBM Watson在医疗领域的应用中,从一开始就重视对医生的培训,解决认知障碍(Ross and Swetlitz, 2017)。谷歌人机混合团队在软件开发中也取得了协同效应,凭借良好的团队性规范与人员选择(Fast and Horvitz, 2017)。这些都展现了注意用户和组织因素的必要性。
ChatGPT也展现了人机互动方面的进步。它可以根据用户提示生成各种文本内容,还能够理解并回答跟进问题。通过持续互动,ChatGPT可与用户建立轻量级的上下文关联,实现较为顺畅的对话交互(Bommasani et al., 2021)。这种语言交互模型的进步,为未来更自然的人机协作互动提供了可能。但仍需注意避免其生成有害内容,需要人类用户保持警惕的态度。
4结论
人工智能的发展必将对未来的工作形态产生深远影响。一方面,AI将取代许多重复性强、规则化程度高的工作,可能导致某些工作岗位的减少。另一方面,AI也会创造新的工作类型,更多岗位将需要人机密切协作。整体来看,AI促进的自动化可以释放人类从事更创新性和社会性的工作。但转型过程中也需要适当管理,以平稳应对就业和分配变化。
长期来看,人类与AI的协同工作仍具有广阔前景。随着算法效能提升和对人机交互的理解加深,会产生更加智能化和友好的人机协作模式。不同领域都将实现人机共生,相互提供对方的不足。但关键是处理好平衡点,发挥各自的优势,同时弥补软弱性。如果协调得当,人类与AI协同工作的效率和质量都将达到新的高度。
要推动人机协同工作的健康发展,技术上需要加强算法的可解释性、公平性和安全性。管理上要重视培训和组织优化促进人机融合。制度上需加快完善伦理规范和法规政策。文化上也要以开放包容的心态应对技术发展带来的变化。只有科技发展与文化治理并重,人类与AI的协作才能在共赢中持续进步。
致谢
作者非常感谢导师Rudi Mai在综述撰写过程中提供的专业意见。同时感谢同事Cherry Davis对本手稿的认真阅读,并提出宝贵的修改意见。本综述的图片来源于网络,若有任何关切,请随时与作者联系。作者尊重每个图像所有者的权利,再次感谢您的理解和支持。
Bommasani R., Hudson D.A., Adeli E., Altman R., Arora S., von Arx S., Bernstein M.S., Bohg J., Bosselut A., Brunskill E., Brynjolfsson E., Buch S., Card D., Castellon R., Chatterji N., Chen A., Creel K., Davis J.Q., Demszky D., Donahue C., Doumbouya M., Durmus E., Ermon S., Etchemendy J., Ethayarajh K., Li F.F., Finn C., Gale T., Gillespie L., Goel K., Goodman N., Grossman S., Guha N., Hashimoto T., Henderson P., Hewitt J., Ho D.E., Hong J., Hsu K., Huang J., Icard T., Jain S., Jurafsky D., Kalluri P., Karamcheti S., Keeling G., Khani F., Khattab O., Koh P.W., Krass M., Krishna R., Kuditipudi R., Kumar A., Ladhak F., Lee M., Lee T., Leskovec J., Levent I., Li X.L., Li X.C., Ma T.Y., Malik A., Manning C.D., Mirchandani S., Mitchell E., Munyikwa Z., Nair S., Narayan A., Narayanan D., Newman B., Nie A., Niebles J.C., Nilforoshan H., Nyarko J., Ogut G., Orr L., Papadimitriou I., Park J.S., Piech C., Portelance E., Potts C., Raghunathan A., Reich R., Ren H.Y., Rong F., Roohani Y., Ruiz C., Ryan J., Ré C., Sadigh D., Sagawa S., Santhanam K., Shih A., Srinivasan K., Tamkin A., Taori R., Thomas A.W., Tramèr F., Wang R.E., Wang W., Wu B.H., Wu J.J., Wu Y.H., Xie S.M., Yasunaga M., You J.X., Zaharia M., Zhang M., Zhang T.Y., Zhang X.K., Zhang Y.H., Zheng L., Zhou K., and Liang P., 2021, On the opportunities and risks of foundation models, arXiv preprint arXiv:2108.07258
Castelvecchi D., 2016, Can we open the black box of AI? Nature, 538(7623): 20-23.
https://doi.org/10.1038/538020a
PMid:27708329
Dastin J., 2022, Amazon scraps secret AI recruiting tool that showed bias against women, In: Martin K. (ed.), Ethics of data and analytics, Auerbach Publications, New York, USA, pp.296-299.
https://doi.org/10.1201/9781003278290-44
Fast E., and Horvitz E., 2017, Long-term trends in the public perception of artificial intelligence, CoRR, 1609. 04904.
https://doi.org/10.1201/9781003278290-44
Fjeld J., Achten N., Hilligoss H., Nagy A., and Srikumar M., 2020, Principled artificial intelligence: mapping consensus in ethical and rights-based approaches to principles for AI, Social Science Electronic Publishing, 35: 18482.
https://doi.org/10.2139/ssrn.3518482
Hill-Yardin E.L., Hutchinson M.R., Laycock R., and Spencer S.J., 2023, A Chat (GPT) about the future of scientific publishing, Brain Behav. Immun., 110: 152-154.
https://doi.org/10.1016/j.bbi.2023.02.022
PMid:36868432
Hagendorff T., 2020, The ethics of AI ethics: an evaluation of guidelines, Mind. Mach., 30: 99-120.
https://doi.org/10.1016/j.bbi.2023.02.022
PMid:36868432
Jiang F., Jiang Y., Zhi H. Dong Y., Li H., Ma S.F., Wang Y.L., Dong Q., Shen H.P., and Wang Y.J., 2017, Artificial intelligence in healthcare: past, present and future, Stroke and Vasc. Neurol., 2: e000101.
https://doi.org/10.1136/svn-2017-000101
PMid:29507784 PMCid:PMC5829945
Lum K., and Isaac W., 2016, To predict and serve? Signif., 13(5): 14-19.
https://doi.org/10.1111/j.1740-9713.2016.00960.x
Mehrabi N., Morstatter F., Saxena N., Lerman K., and Galstyan A., 2021, A survey on bias and fairness in machine learning, ACM Comput. Surv., 54(6): 1-35.
https://doi.org/10.1111/j.1740-9713.2016.00960.x
Manyika J., Lund S., Chui M. et al., 2017, Jobs lost, jobs gained: Workforce transitions in a time of automation, McKinsey Global Institute
Raji I.D., Gebru T., Mitchell M., Buolamwini J., Lee J., and Denton E., 2020, Saving face: Investigating the ethical concerns of facial recognition auditing, AIES, 145-151.
https://doi.org/10.1145/3375627.3375820
Ross C., and Swetlitz I., 2017, IBM pitched its Watson supercomputer as a revolution in cancer care. It's nowhere close, STAT, 1-15.
Reddy S., Allan S., Coghlan S., and Cooper P., 2020, A governance model for the application of AI in health care, J. Am. Med. Inform. Assn., 27(3): 491-497.
https://doi.org/10.1093/jamia/ocz192
PMid:31682262 PMCid:PMC7647243
Wilson H.J., and Daugherty P.R., 2018, Collaborative intelligence: humans and AI are joining forces, Harv. Bus. Rev., 96(5): 114-123.
Wolf M.J., Miller K., and Grodzinsky F.S., 2017, Why we should have seen that coming: comments on Microsoft's tay" experiment," and wider implications, Acm Sigcas Computers and Society, 47(3): 54-64
https://doi.org/10.1145/3144592.3144598
Westerlund M., 2019, The emergence of deepfake technology: a review, Technol. Innov. Manag. Rev., 9(11): 39-52.