十个例子，教你用统计学方法高效完成机器学习项目
雷锋网报道：该文系 AI 研习社翻译的技术文章，原标题为《10个运用统计方法于机器学习项目的范例》，作者是 Jason Brownlee。
翻译由赵若伽承担，校对工作由陈涛负责，整理事务交由陈涛处理，项目最终由MY监督完成。
统计学和机器学习是两个联系特别紧密的领域。
事实上，这两者之间的分界线时常难以区分。不过，部分确定属于统计学范畴的技术，不仅能够应用于机器学习的实践，而且具有相当高的应用价值。
公平地说，需要统计学方法来有效地完成机器学习预测建模项目。
通过这篇文章，可以掌握若干统计学技巧，这些技巧在建立预测模型时至关重要，并且能够具体应用在其中的关键环节。
在阅读完这篇博客后，你会了解：
让我们开始吧。
运用机器学习时，十个统计学方法的应用情况，如下，图片源自chenutis，版权属于该作者。
概述
这篇博客主要介绍应用机器学习项目时统计学方法的具体运用，挑选了十个典型案例进行详细阐述。
这将证明统计学知识对于成功解决预测建模问题至关重要。
问题架构
数据理解
数据清洗
数据选择
数据准备
模型评估
模型配置
模型选择
模型表达
模型预测
1. 问题架构
也许预测模型问题中最困难的一点就是问题的架构。
这涵盖了问题种类的确定，比如是进行预测还是进行区分，可能还涉及该问题的数据来源和结果形式，以及它们各自的特点。
问题设置并非总那么明了，对于某个范畴的初学者，或许要对该范畴内的数据做些细致考察。
对于这个领域的行家，他们或许会拘泥于老办法分析，因此容易陷入困境，他们还应该从不同方向审视信息，这样才可能获得成效。
统计方法在问题的架构阶段有助于对数据的探索，其中包括：
2. 数据理解
数据解读含义在于更深入地把握变量的散布情形，以及变量之间的相互联系。
部分内容源于该范畴的专门学问，或需借助专门学问才能阐明。不过，无论经验丰富者还是初学者，通过接触该领域的实际观测数据都能有所得益。
用在理解数据的统计学模型的两类主流分支是：
3. 数据清洗
一个领域中的观察值往往存在些瑕疵。
数据虽然是数字化的，但某些环节会损害其准确性，进而，后续处理数据的方法和模型也会因此受到波及。
例如：
识别和修复这些问题数据的过程也叫做数据清洗。
统计方法应用于数据清洗中例子有：
4. 数据选择
在建模时，不是所有观察值或所有变量都是相关的。
压缩这些要素的信息区间，有助于确定预测数值，这个步骤称作要素筛选。
应用在数据选择的两种统计学方法：
5. 数据准备
数据一般不会直接拿来建模。
调整数据形态，以适配特定任务框架，或满足学习模型需求，必须实施必要处理。
数据准备也会用到统计模型，例如：
6. 模型评估
预测模型问题的一个重要部分是对学习方法进行评估。
对模型的能力的评估主要是对未经过训练的数据进行预测。
一般而言,确定训练环节以及预测效果检验的安排称作方案制定,此项工作属于统计方法的一个分支。
为了执行实验方案，需要充分运用现有资料并检验模型的性能，因此借助统计手段对数据集进行重新取样，这两个目标分别属于统计方法的不同分支。
7. 模型配置
现有的机器学习模型往往配备一组参数开yun体育app官网网页登录入口，这些参数能让学习过程适配具体任务。
超参数的设定往往凭借经验kaiyun全站app登录入口，而非通过分析得出。这需要开展众多实验，用以考察各种超参数数值对模型表现的作用。
两种统计学分支的方法能够用于阐释和对照不同超参数组合所产生的成效，具体而言包括：
8. 模型选择
在处理预测建模任务时，众多机器学习方法里或许存在一种与该任务最为匹配的算法，需要仔细甄别。
选择一种方法作为解决方案的过程称为模型选择。
此事关乎项目成员的个人资质，也关系到衡量问题的手段，还取决于其估算能力，看能否阐释清楚细节。
对于模型设定而言，存在两种统计分析手段，能够用来评估不同模型的预测能力，并作为挑选模型的依据，具体包括：
9. 模型表示
模型训练彻底结束之后，可以把它先展示给有关人员审阅，在用它对实际数据作出分析之前。
展示最终模型的一个环节包括展示模型的估计技能。
统计方法借助容忍界限和置信界限，能够对机器学习评估效果的不确定性加以衡量。
10. 模型预测
最终模型能够针对未知的输入数据，进行预测分析，并得出相应的结果。
作为预测的一部分，量化预测的置信度非常重要。
依照模型呈现的流程，我们能够借助估算统计学的手段，对这类不确定性进行度量，诸如设定可信范围和预估界限。
总结
通过这个教程，你认识到统计方法对整个预测建模项目具有关键作用。
具体来讲你学到了：
将统计数据应用于机器学习项目时kaiyun全站登录网页入口，要考虑多种方法，这些方法有助于提升模型性能，同时确保结果的可靠性，例如通过分析数据分布来识别潜在模式，或者使用统计检验来验证假设，这些步骤对于构建稳健且有效的机器学习系统至关重要
号外号外~
一个专注于
AI技术发展和AI工程师成长的求知求职社区
诞生啦！
欢迎大家访问以下链接或者扫码体验
该网址指向乐创俱乐部的一个页面，具体是首页部分，包含了多个相关内容板块，用户可以在这里找到各类资讯和互动信息。
雷锋网雷锋网
