2021年企业采用人工智能

通过迈克Loukides
2021年4月19日

在2月的前几周,我们询问了我们的数据人工智能通讯参与企业采用人工智能的调查。我们有兴趣回答两个问题。首先,我们想了解过去一年AI的使用是如何增长的。我们也对AI的实践感兴趣:开发人员如何工作,他们使用什么技术和工具,他们关注什么,有什么开发实践。

最引人注目的结果是纯粹的受访者人士。在我们2020年的调查中,达到了同样的受众,我们有1,239个回应。今年,我们共有5,154人。消除了1,580名没有完成调查的受访者后,我们留下了3,574次回复 - 去年几乎三倍。大流行引起的无聊可能导致更多人回应,但我们怀疑它。他们是否将产品投入生产或只是踢轮胎,更多的人使用AI比以往任何时候都使用。

学习更快。挖掘更深。看到更远。

加入O'Reilly在线学习平台。立即获得免费试用,并在飞行中找到答案,或掌握新的东西和有用的东西。

了解更多

执行概要

  • 我们收到的回复几乎是去年的三倍,在推广方面也做了类似的努力。越来越多的人在与人工智能合作。
  • 过去,企业文化一直是人工智能应用的最大障碍。虽然这仍然是个问题,但文化已经跌到了第四位。
  • 今年,采用人工智能的最大障碍是缺乏熟练人才和招聘困难。这种短缺已经被预测了好几年;我们终于看到了。
  • 第二个最重要的屏障是质量数据的可用性。这种实现是该领域正在成长的标志。
  • 报告“成熟”实践的受访者比例在过去几年大致相同。考虑到受访者数量的增加,这并不令人惊讶:我们怀疑许多组织才刚刚开始他们的人工智能项目。
  • 零售行业拥有最高比例的成熟实践;教育水平最低。但教育领域“考虑”人工智能的受访者比例也是最高的。
  • 相对较少的受访者正在使用版本控制数据和模型。版本控制数据和模型的工具仍然不成熟,但对于使AI结果可重复和可靠,它们是至关重要的。

受访者

在完成今年调查的3,574名受访者中,3,099以某种方式与AI合作:考虑到它,评估它,或将产品投入生产。在这些受访者中,最大数量基于美国(39%)并从北美(47%),这并不令人惊讶。印度有第二个受访者(7%),而亚洲(包括印度)的总数有16%。澳大利亚和新西兰占总数的3%,给予亚太(APAC)区域19%。超过四分之一(26%)受访者来自欧洲,由德国领导(4%)。7%的受访者来自南美,2%来自非洲。除南极洲外,没有受访者没有大陆,共有111个国家。这些令人兴趣和使用AI的结果在全球范围内和成长。

今年的结果匹配去年的数据良好。但要注意数据并没有说什么,它同样重要。只有0.2%的受访者表示他们来自中国。显然没有反映现实;中国是AI的领导者,可能拥有更多的AI开发人员,而不是任何其他国家,包括美国。同样,1%的受访者来自俄罗斯。纯粹作为猜测,我们怀疑俄罗斯的AI开发人员的数量略小于美国的数字。这些异常会更多地介绍了对谁达成的人(订阅者到O'Reilly的新闻稿),而不是他们对俄罗斯和中国的AI开发人员的实际数量。

图1所示。与人工智能合作的国家(前12名)

受访者来自不同的行业。不出所料,电脑、电子产品和科技产品以17%的受访者高居榜首。金融服务(15%)、医疗保健(9%)和教育(8%)是人工智能的第二重要应用行业。我们看到人工智能在制药和化学行业的应用相对较少(2%),但考虑到人工智能在COVID-19疫苗开发中的作用,我们预计这一情况将发生急剧变化。同样,汽车行业的受访者也很少(2%),尽管我们知道人工智能是自动驾驶汽车等新产品的关键。

3%的受访者来自能源行业,另外1%来自公共事业(包括部分能源部门)。这本身就是一个相当大的数字,但我们不得不问:人工智能会在重建我们脆弱和过时的能源基础设施方面发挥作用吗?我们预计它会的,尽管我们有理由问,受过规范数据训练的人工智能系统在面对“黑天鹅”事件时是否会稳健。当AI系统面临一种罕见的情况,即在其训练数据中没有很好体现的情况时,它会怎么做?毕竟,这是自动驾驶汽车开发者面临的问题。当其他车辆和行人都遵守规则时,安全驾驶汽车是很容易的。只有意想不到的事情发生时才会有困难。电网也是如此。

我们还预计AI将重塑农业(1%的受访者)。与能量一样,AI驱动的变化不会很快。但是,我们已经看到了稳定的农业项目,目标从检测作物疾病用小型无人机杀死飞蛾

最后,8%的受访者表示,他们的行业是“其他”,14%被分成“所有其他人”。“所有其他人”结合了12个行业,调查列为可能的反应(包括汽车,制药和化学和农业),但在图表中没有足够的回应。“其他”是通用卡,包括行业我们没有列出作为选项。“其他”出现在第四位,只是医疗保健背后。不幸的是,我们不知道哪个行业由该类别代表 - 但它表明AI的传播确实变得宽广!

图2。工业使用的人工智能

成熟

大约四分之一的受访者称他们使用人工智能是“成熟的”(26%),这意味着他们在生产能带来收入的人工智能产品。这与2020年的结果几乎完全一致,当时25%的受访者表示他们已经在生产产品(在2020年的调查中不可能出现“成熟”的回答)。

今年,35%的受访者是“评估”AI(试验和概念证明项目),也与去年大致相同(33%)。13%的受访者没有利用AI或考虑使用它;这是从去年的数字(15%)的下降,但再次,它没有显着差异。

我们如何看待那些“考虑”人工智能但尚未开始任何项目(26%)的受访者?去年的受访者可没有这样的选择。我们怀疑,去年正在考虑人工智能的受访者表示,他们要么“评估”它,要么“不使用”它。

图3。AI实践成熟

看着AI采用面临的受访者的问题提供了另一种方式来衡量AI的整体成熟度作为领域。去年,遏制收养的主要瓶颈是公司文化(22%),其次是难以识别适当用例(20%)。今年,文化问题是第四位(14%),并发现适当用例是第三(17%)。这是一个非常重大的变化,特别是企业文化。公司已接受AI的程度更大,尽管发现解决的适当问题仍然是一个挑战。

今年调查中最大的问题是缺乏有技能的人才和招聘困难(19%)以及数据质量(18%)。对人工智能专业知识的需求超过了供应,这并不奇怪,但认识到这一点很重要,它现在已经成为更广泛采用的最大障碍。最大的技能差距是ML建模师和数据科学家(52%)、理解业务用例(49%)和数据工程(42%)。对管理和维护计算基础设施的人员的需求相对较低(24%),这表明公司正在通过云解决他们的基础设施需求。

令人欣慰的是,组织开始意识到数据质量的重要性(18%)。我们早就知道“垃圾输入,垃圾输出”;这对人工智能来说更是如此。错误的数据会导致大规模的错误结果。

超参数调优(2%)不被认为是一个问题。它在列表的底部,我们希望它属于那里。这可能反映了构建模型的自动化工具的成功(AutoML,尽管我们稍后会看到,大多数受访者都没有使用它们)。更重要的是工作流的可再现性(3%)排在倒数第二位。这是有意义的,因为我们没有看到大量使用模型和数据版本控制工具。我们稍后会讨论这个问题,但能够重现实验结果对任何科学都是至关重要的,这是人工智能中一个众所周知的问题。

图4. AI采用的瓶颈

大陆到期

在观察有成熟实践的受访者的地理分布时,我们发现北美(27%)、亚洲(27%)和欧洲(28%)之间几乎没有差异。相比之下,在我们2018年的报告中,亚洲在成熟实践方面落后,尽管处于“早期采取者”或“探索”阶段的受访者明显更多。亚洲显然已经赶上来了。在我们2021年的数据中,这三个大洲之间没有显著差异。

我们发现具有成熟实践的较小百分比和更高百分比的受访者,他们在南美洲(20%),大洋洲(澳大利亚和新西兰,18%)和非洲(17%)。不要低估AI对这些大陆的未来的影响。

最后,受访者的百分比“评估”AI在每个大陆几乎相同,只有31%(南美洲)到36%(大洋洲)。

图5。成熟的大陆

成熟的行业

虽然AI成熟度不依赖于地理位置,但如果我们通过行业期待到期,我们会看到一个不同的图片。

在排名前八的行业中,金融服务(38%)、电信(37%)和零售业(40%)的受访者中,报告成熟业务的比例最高。尽管它的受访者数量最多,但电脑、电子产品和技术排在第四位,有35%的受访者称其拥有成熟的实践。落后的是教育(10%)和政府(16%)。医疗保健和生命科学占28%,制造业(25%)、国防(26%)和媒体(29%)处于中间位置。

另一方面,如果我们看看正在考虑人工智能的行业,我们会发现教育行业处于领先地位(48%)。在政府和制造业工作的受访者似乎走得更远,分别有49%和47%的受访者对人工智能进行了评估,这意味着他们正在进行试点或概念验证项目。

这可能只是数字的一个小技巧:每个组的总和都是100%,所以如果一个组中“成熟”的实践较少,那么“评估”和“考虑”实践的百分比就必须更高。但也有一个真实的信号:这些行业的受访者可能并不认为他们的做法“成熟”,但每个行业的受访者都超过了100人,教育行业的受访者接近250人。制造业需要自动化许多过程(从组装到检验等等);政府和任何行业一样受到全球大流行病的挑战,一直需要“用更少的钱做更多的事”的方法;多年来,教育一直在试验技术。人们真的希望在这些领域利用人工智能做更多的工作。值得指出的是,人工智能的教育和政府应用经常会引发伦理问题,而未来几年最重要的问题之一将是看这些组织如何应对伦理问题。

图6。行业成熟度(百分比)

ai的做法

现在我们已经讨论了在哪里可以找到成熟的实践(地理位置和行业),让我们看看成熟的实践是什么样的。这些组织有什么共同点?它们与评估或考虑人工智能的组织有何不同?

技术

首先,82%的受访者使用监督学习,67%使用深度学习。深度学习是一套几乎适用于所有人工智能方法的算法,所以这种重叠并不奇怪。(参与者可以提供多个答案)58%的人声称在使用无监督学习。

在非监督学习之后,这一比例显著下降。人在回路、知识图、强化学习、模拟以及计划和推理的使用率都低于40%。令人惊讶的是,自然语言处理根本不在考虑范围之内。(有一小部分受访者的回答是“自然语言处理”,但他们只占总数的一小部分。)这是非常重要的,绝对值得在接下来的几个月里关注。在过去的几年里,在NLP和NLU(自然语言理解)方面有了很多突破:业内的每个人都读过GPT-3,许多供应商都在大力押注使用人工智能来实现客户服务呼叫中心和类似应用的自动化。这项调查表明,这些应用程序还没有付诸实践。

我们向正在考虑或评估AI使用的受访者提出了类似的问题(占总数的60%)。虽然百分比较低,但技术以相同的顺序出现,差异很少。这表明仍在评估AI的受访者正在尝试比具有成熟实践的受访者更少的技术。这表明(合理地)该受访者选择“开始简单”并限制他们试验的技术。

图7。人工智能技术在成熟实践中的应用

数据

我们还询问了“成熟”受访者使用的数据类型。大多数(83%)使用结构化数据(日志文件、时间序列数据、地理空间数据)。71%使用文本数据——这与报告使用NLP的受访者数量不一致,除非“文本”通常用于包括任何可以表示为文本的数据(例如表单数据)。52%的受访者表示使用了图片和视频。与我们读到的关于人工智能和计算机视觉的研究相比,这一数字似乎偏低。也许这并不奇怪:没有理由让业务用例与学术研究同步。我们希望大多数业务应用程序都包含结构化数据、表单数据或某种文本数据。只有相对较少的受访者(23%)致力于音频,这仍然是一个非常具有挑战性的内容。

再次,我们向评估或考虑AI的受访者向受访者提出了类似的问题,我们收到了类似的结果,尽管任何给定答案的受访者的百分比有点较小(4-5%)。

图8.成熟实践中使用的数据类型

风险

当我们询问有成熟实践的受访者他们检查了哪些风险时,71%的人说是“意料之外的结果或预测”。可解释性、模型随时间的退化、隐私和公平性的排名也很高(超过50%),尽管令人失望的是只有52%的受访者选择了这个选项。安全性也是一个问题,占42%。人工智能提出了重要的新安全问题,包括有毒数据源和逆向工程模型提取私人信息的可能性。

如果不确切知道正在开发的应用程序是什么,就很难解释这些结果。隐私、安全、公平和安全是每个人工智能应用都要考虑的重要问题,但同样重要的是要意识到并非所有应用都是相同的。一个农场应用程序检测作物疾病不像批准或拒绝贷款的申请有同样的风险。与个性化购物机器人相比,自动驾驶汽车的安全性是一个更大的问题。然而,我们真的相信这些风险不需要为将近一半的项目处理吗?

图9。在开发期间检查的风险

工具

拥有成熟实践的受访者显然有他们最喜欢的工具:scikit-learn、TensorFlow、PyTorch和Keras的得分都超过45%,scikit-learn和TensorFlow的得分最高(均为65%)。第二组工具,包括亚马逊的SageMaker(25%)、微软的Azure ML Studio(21%)和谷歌的Cloud ML Engine(18%),以及Spark NLP和spaCy都集中在20%左右。

当被问及他们计划在未来12个月内加入哪些工具时,大约一半的受访者应答模型监测(57%)和模型可视化(49%)。由于许多原因,模型变得陈旧,其中最不重要的是人类行为的变化,模型本身可能负责的变化。能够监控模型的性能和检测到它已成为“陈旧”的能力将越来越重要,因为企业在AI上变得更加依赖并反过来要求AI项目展示其价值。

图10.成熟实践使用的工具

评估或考虑AI的人的回应是相似的,但有一些有趣的差异:SCICIT-学习从第一名迁移到第三名(48%)。第二组由来自云供应商的产品引导,该产品包含自动化:Microsoft Azure ML Studio(29%),Google Cloud ML引擎(25%)和亚马逊索道制作人(23%)。这些产品比“成熟”用户在“成熟”中更受欢迎。差异并不巨大,但它醒目。在过度过度解释的风险中,更新到AI的用户更倾向于使用特定于供应商的软件包,更倾向于在其中一个化身中使用Automl,并且稍微倾向于使用Microsoft或Google而不是亚马逊。与谷歌或Facebook这样的组织的组织相比,Scikit-Seather在与AI相比相对较新的人中,也可能更少。

当被问及关于AutoML产品的具体问题时,51%的“成熟”受访者表示他们根本没有使用AutoML。22%的用户使用Amazon SageMaker;16%使用微软Azure AutoML;14%使用谷歌Cloud AutoML;其他工具都低于10%。在评估或考虑人工智能的用户中,只有40%的人表示他们根本没有使用AutoML,谷歌、微软和亚马逊的软件包几乎并列(27-28%)。AutoML还不是这个领域的重要组成部分,但它似乎在那些仍在考虑或尝试人工智能的用户中获得了吸引力。而且,我们可能会看到越来越多的成熟用户使用AutoML工具,其中45%的人表示,他们将在未来整合用于自动模型搜索和超参数调优(简而言之,AutoML)的工具。

部署和监控

一个AI项目如果无法部署,则意味着什么;甚至仅供内部使用的项目也需要某种部署。我们的调查显示,AI部署仍然很大程度上是未知的领域,由本土特设流程主导。三种最重要的部署工具所有的采用采用了20%的采用:mlflow(22%),张杂散延伸,A.K.A.TFX(20%)和Kubeflow(18%)。来自较小初创公司的三种产品 -骨牌窒息, 和皮质- 收养量大约4%。但是这个问题最常见的答案是“以上都不是”(46%)。由于这个问题仅询问了“成熟”AI实践的受访者(即,在生产中具有AI产品的受访者),我们只能假设他们已经建立了自己的工具和管道,以便部署和监控。鉴于AI项目可以采取的许多形式,并且AI部署仍然是一个黑暗的艺术,并不令人惊讶的是,AI开发人员和运营团队只是开始采用第三方工具进行部署。

图11.部署成熟实践中使用的自动化工具
和监控

版本控制

源代码控制长期以来一直是软件开发的标准实践。有许多用于构建源代码存储库的知名工具。

我们相信AI项目使用Git或GitHub等源代码存储库;这是所有软件开发人员的标准做法。然而,AI带来了一个不同的问题。在AI系统中,培训数据与源代码更重要的话一样重要。因此,从训练数据构建的模型:除源代码本身外,该模型还反映了训练数据和超参数,并且可能是数百个实验的结果。

我们的调查显示,AI开发人员只开始使用数据和模型版本控制的工具。对于数据版本控制,35%的受访者正在使用本质工具,而46%的响应“以上都不是”,我们认为他们只使用多个数据库。9%正在使用DVC,8%的是使用工具权重和偏见, 5%在使用pachyderm.

图12。用于数据版本控制的自动化工具

模型和实验跟踪工具的使用频率更高,尽管结果基本上是相同的。29%的人使用自己开发的工具,而34%的人表示“以上都不是”。领先的工具是MLflow(27%)和Kubeflow(18%),权重和偏差为8%。

图13.用于模型和实验跟踪的自动化工具

正在考虑或评估AI的受访者甚至可能使用数据版本化工具:59%表示“以上都不是”,而只有26%使用本土工具。权重和偏见是最受欢迎的第三方解决方案(12%)。当被问及模型和实验跟踪时,44%表示“以上都不是”,而21%正在使用本土工具。但是,有趣的是,在这个组中,MLFLIF(25%)和Kubeflow(21%)排名在本质上的工具上方。

虽然可用于版本控制模型和数据的工具仍然是基本的,但它令人不安地令人不安,这很多实践包括在制作中具有AI产品的诸多实践并没有使用它们。如果您无法重现数据和生成结果的模型,则无法重现结果。我们已经表示,四分之一的受访者认为他们的AI练习成熟 - 但尚不清楚如果它不包括可重复性,那么到期意味着什么。

底线

过去两年,人工智能的受众有所增长,但变化不大:认为自己属于“成熟”实践的受访者比例大致相同;代表了相同的行业,并且大致处于相同的水平;调查对象的地理分布变化不大。

只有50%的受访者将隐私或道德列为他们担心的风险,我们不知道该感到高兴还是沮丧。没有前几年的数据,很难判断这是一种进步还是倒退。但很难相信有那么多的人工智能应用对隐私、道德和安全没有重大风险。

工具用法没有任何大惊喜:该领域由Scikit-Learn,Tensorflow,Pytorch和Keras主导,尽管有一个健康的开源生态系统,商业许可和云本机工具。Automl尚未进行大量进入,但代表较少实践的受访者似乎倾向于自动化工具,不太可能使用Scikit-Learn。

没有解决数据或型号版本控制的受访者的数量是一个不受欢迎的惊喜。这些实践应该是基础:开发具有可验证,可重复结果的AI产品的核心。虽然我们承认适合AI应用程序的版本控制工具仍在他们的早期阶段,但是检查“以上唯一”的参与者的数量揭示 - 特别是因为“以上”包括本土工具。如果您没有可重复的数据和模型,则无法具有可重复的结果。时期。

在过去的一年里,人工智能在企业中的发展壮大;调查对象的绝对数量会告诉你这一点。但是它成熟了吗?许多新团队正在进入该领域,而部署应用程序的受访者的百分比大致保持不变。在很多方面,这都表明了成功:一个大数字的25%要高于一个小数字的25%。但是,应用程序部署是衡量成熟度的正确标准吗?直到开发和运营团队能够参与到像持续部署这样的实践中,直到结果是可重复的(至少在统计意义上),直到道德、安全、隐私和安全成为首要问题而不是次要问题,企业AI才会真正成熟。成熟的人工智能吗?是的,企业人工智能已经成熟。但现在是时候为成熟设定更高的标准了。

邮寄主题:AI &毫升
帖子标记:研究
分享:

获取奥瑞利人工智能通讯时事通讯

获取奥瑞利人工智能通讯时事通讯