金沙国际官方网址

图片 2
【金星实行时】BEPICOLOMBO号已经形成总装工作
金沙国际官方网址 12
曙光号即将到达谷神星

不必写代码!谷歌(谷歌)生产机器学习模型解析神器,代号What-If

原标题:无需写代码!谷歌(谷歌)推出机器学习模型分析神器,代号What-If

原标题:测试机器学习模型不用写代码!谷歌(Google)“what-if”工具轻松解决

引言

在机械学习园地,AUC值平常用来评价一个二分类模型的演习效益,对于众多机械学习或许数额挖掘的从业者或在校学员来说,AUC值的概念也每每被提起,但由于多数时候大家都以凭借一些软件包来练习机器学习模型,模型评价指标的总括往往被软件包所封装,由此我们日常会忽视了它们的具体意思,那在多少时候会让大家对此手头正在开始展览的职务感到迷惑不解。笔者也曾遭受类似的难题,由此愿意借由正文来梳理下AUC值的意思与计算格局,通超过实际际的例证帮衬读者加深掌握,同时提交了使用scikit-learn工具库总括AUC值的方式,供各位参考。

铜灵 编写翻译整理

图片 1

定义

AUC的齐全是Area under the Curve of
ROC
,也就是ROC曲线下方的面积。那里出现了另2个概念,正是ROC曲线。那么ROC曲线是个怎么着事物吗?大家参看下维基百科上的概念:在信号检查和测试理论中,接收者操作特征曲线(receiver
operating characteristic
curve
,或者叫ROC曲线)是一种坐标图式的分析工具,用于 (1)
选拔最棒的信号侦测模型、放任次佳的模型。 (2)
在一如既往模型中设定最好阈值。那几个定义最早是由世界二战中的电子工程师和雷达工程师发明的,用来侦测战场上的敌军载具。归纳来说,能够把ROC曲线领悟为一种用于总括分析的图纸工具。

那正是说具体到机械学习的理论中,ROC曲线该怎么领悟吧?首先,须要提议的是,ROC浅析的是二元分类模型,约等于出口结果唯有两类别型的模型,比如:(中性(neuter gender)/阴性)(有病/没病)(垃圾邮件/非垃圾邮件)。在二分类难题中,数据的价签常常用(0/1)来代表,在模型练习成功后展开测试时,会对测试集的每一种样本总计多个介于0~1之间的票房价值,表征模型认为该样本为中性(neuter gender)的可能率,大家能够选定叁个阈值,将模型估测计算出的概率举办二值化,比如选定阈值=0.5,那么当模型输出的值超出等于0.5时,我们就觉着模型将该样本预测为中性(neuter gender),也正是标签为1,反之亦然。选定的阈值不一样,模型预测的结果也会相应地改成。二元分类模型的单个样本预测有种种结果:

  1. 真阴性(TP):判断为阴性,实际也是阴性。
  2. 伪中性(neuter gender)(FP):判断为中性(neuter gender),实际却是中性(neuter gender)。
  3. 真阴性(TN):判断为中性(neuter gender),实际也是中性(neuter gender)。
  4. 伪中性(neuter gender)(FN):判断为阴性,实际却是阴性。

那八种结果能够画成2 × 2的混淆矩阵:

图片 2

二阶混淆矩阵

有了混淆矩阵,就能够定义ROC曲线了。ROC曲线将假阴性率(FP奥迪Q7)定义为
X 轴,真中性(neuter gender)率(TP奥迪Q5)定义为 Y 轴。当中:

  • TP奔驰G级:在享有实际为中性(neuter gender)的范本中,被正确地判断为中性(neuter gender)的样本比率。
  • FP凯雷德:在颇具实际为中性(neuter gender)的样书中,被破绽百出地判定为阴性的样本比率。
  • TPR = TP / (TP + FN)
  • FPR = FP / (FP + TN)

给定二个二分类模型和它的阈值,就足以根据全部测试集样本点的真实值和预测值计算出2个(X=FPPAJERO, Y=TPENVISION)
坐标点,那约等于绘制单个点的法子。那整条ROC曲线又该怎么画吗?具体方法如下:

在我们练习完一个二分类模型后,能够行使该模型对测试集中的全套样本点计算一个一面如旧的可能率值,每种值都介于0~1之间。要是测试集有九贰十一个样本点,大家能够对那玖拾柒个样本的预测值从高到低排序,然后逐一取每一种值作为阈值,一旦阈值鲜明大家就能够绘制ROC曲线上的一个点,依据那种格局依次将九十多少个点绘制出来,再将逐条点依次连接起来,就拿走了小编们想要的ROC曲线!

然后再回到最初的难点,AUC值其实正是ROC曲线下方所覆盖的面积,当大家绘制出ROC曲线之后,AUC的值自然也就总括好啊。

明天,谷歌生产了已开源的TensorFlow可视化学工业具TensorBoard中一项新作用:What-If
Tool,用户可在不编写程序代码的事态下分析机器学习(ML)模型。

倒计时**8**天

示例

此处引用上海浙大张伟楠先生机器学习课件中的例子来评释:

图片 3

AUC总括示例

如上海体育场面所示,大家有九个测试样本,模型的预测值(按大小排序)和样本的实在标签如右表所示,绘制ROC曲线的任何进度如下所示:

  1. 令阈值等于第①个预测值0.91,全数大于等于0.91的预测值都被判定为中性(neuter gender),此时TP猎豹CS6=四分之一,FP奥迪Q7=0/4,全数大家有了第三个点(0.0,0.25)
  2. 令阈值等于第一个预测值0.85,全部大于等于0.85的预测值都被判定为中性(neuter gender),那种状态下第2个样本属于被错误预测为阴性的阴性样本,也便是FP,所以TP瑞鹰=百分之二十五,FPLX570=四分之一,所以大家有了第③个点(0.25,0.25)
  3. 根据那种方法依次取第二 、四…个预测值作为阈值,就能挨个得到ROC曲线上的坐标点(0.5,0.25)、(0.75,0.25)…(1.0,1.0)
  4. 将逐一点依次连接起来,就获取了如图所示的ROC曲线
  5. 计算ROC曲线下方的面积为0.75,即AUC=0.75

不用写代码?

新智元将于十二月十一日在香港国家会议大旨开办AI WOCR-VLD
2018社会风气人工智能高峰会议,MIT物理教师、未来生命研讨所创办人、《生命3.0》小编马克斯Tegmark,将刊登解说《咱们如何运用AI,而不是被其压制》,钻探如何面对AI军事化和杀人民武装器的产出,欢迎到现场交换!

代码

在领略了AUC值的乘除原理后,大家再来看看哪些在代码中达成它。平日很多的机器学习工具都打包了模型目的的总结,当然也囊括AUC值。那里大家来一块看下scikit-learnAUC的一个钱打二十五个结办法,如下所示:

>>> import numpy as np
>>> from sklearn.metrics import roc_auc_score
>>> y_true = np.array([0, 0, 1, 1])
>>> y_scores = np.array([0.1, 0.4, 0.35, 0.8])
>>> roc_auc_score(y_true, y_scores)
0.75

能够观看,使用scikit-learn工具提供的roc_auc_score函数计算AUC值极度简单,只须要提供样本的其实标签和预测值那七个变量即可,大大有利于了我们的使用,真心多谢那一个开源软件的撰稿人们!

不错,只需为TensorFlow模型和数据集提供指针,What-If
Tool就能交付2个可用来探究模型结果的可相互的视觉界面。

总结

见状此间的伙伴们是或不是对AUC值的定义有了更好的通晓吧。总的来说,AUC值正是3个用来评价二分拣模型优劣的常用指标,AUC值越MTK常申明模型的机能越好,在实际应用中我们能够依靠软件包的照应函数进行快速总计。假诺各位还有一部分标题照旧是对小说中的有个别部分有疑难,欢迎在评论区斟酌。

图片 4

来源:Google AI

参考

ROC曲线维基百科
张伟楠先生课件
机器学习和总计里面的auc怎么精晓? –
天涯论坛

250张人脸和在模型中检查和测试微笑后的结果

编辑:大明

What-If
Tool里功效很多,包涵机关用Facets将数据集可视化,也有从数量汇总手动编辑示例并查阅更改效果的职能,还是能自动生成都部队分关系图,突显模型预测随着单个特征的改观而改变的可行性。

【新智元导读】谷歌(Google) AI推出“what-if
”工具,用户完全不供给编写制定代码就能分析机器学习模型。该工具提供交互式可视化界面,用户能够追究并比较模型结果,能够火速地窥见模型中的错误。

而是,那还不是What-If Tool的全套实力。

构建高速的机械学习连串,须要建议并缓解广大题材。仅仅练习模型然后就放着不管是远远不够的。优异的机械学习从业者要像侦探一样,时刻注意探索如何更好地领略塑造的模子:数据点的成形将对模型的展望结果导致哪些震慑?同二个模子对两样的群落会有何区别的表现?用来测试模型的数据集的两种化程度怎么着等等。

7大功能

要回应这几个难点并不便于。要回应这几个“借使”难题,平常要编制自定义的一次性代码来分析特定模型。这些历程不仅效能低下,并且除了程序员,其余人很难参预立异机器学习模型的历程。

What-If Tool主要有七大效益,不明了有没有你要求的那一款:

谷歌(Google) AI
PAI福睿斯布署的2个珍视便是让更广大的人工流生产能力够更便于地对机械学习系统实行反省、评估和调剂。

作用一:可视化猜想结果

明天,我们规范文告What-If工具,该工具是开源的TensorBoard
Web应用程序的一项新职能,它同意用户在不编写代码的景观下分析机器学习模型。
What-If工具给出了TensorFlow模型和数据集的指针,提供了三个交互式可视化界面,用于探索模型结果。

传说推断结果的例外,你的示范会被分为不一致的水彩,之后可用混淆矩阵和其余自定义格局开始展览处理,从不相同特色的角度呈现估摸结果。

图片 5

图片 6

What-If工具展现一组250张面部图片及其检查和测试微笑模型的结果

效果二:编辑一个数据点,看模型表现如何

What-If工具功效强大,能够利用Facets自动展现数据集,从数据集手动编辑示例并查阅更改的效益,还能够自动生成都部队分依赖图(partial
dependence
plots),展现模型的估量结果随任何单个成效的改观而生成的情形。

相关文章

No Comments, Be The First!
近期评论
    功能
    网站地图xml地图