CHINA·9227新葡的京集团|品牌官网

首页 > 数据百科 > 数据建模的步骤

数据建模的步骤

2021-05-19 14:35:52   |  Smartbi大数据百科 7294

商业智能BI产品更多介绍:/

商业智能BI产品更多介绍:点击前往

    数据建模的步骤(一)制订目标&sma&

    制订目标的前提是理解业务,明确要解决的商业现实问题是什么?

    如:在社交平台KOL中,存在假粉丝的情况,如何识别假粉就是一个要解决的现实问题。

    数据建模的步骤(二)数据理解与准备&sma&

    基于要解决的现实问题,理解和准备数据,一般需要解决以下问题:

    需要哪些数据指标(即特征提取)?(如:哪些指标能区别真粉和假粉?)

    数据指标的含义是什么?

    数据的质量如何?(如:是否存在缺失值?)

    数据能否满足需求?

    数据还需要如何加工?(如:转换数据指标,将类别型变量转化为0-1哑变量,或将连续型数据转化为有序变量)

    探索数据中的规律和模式,进而形成假设。

    需要注意的是,数据准备工作可能需要尝试多次。因为在复杂的大型数据中,较难发现数据中存在的模式,初步形成的假设可能会被很快推翻,这时一定要静心钻研,不断试错。

    数据建模后需要评估模型的效果,因此一般需要将数据分为训练集和测试集。

    数据建模的步骤(三)建立模型&sma&

    在准备好的数据基础上,建立数据模型,这种模型可能是机器学习模型,也可能不需要机器学习等高深的算法。选择什么样的模型,是根据要解决的问题(目标)确定的。

    当然可以选择两个或以上的模型对比,并适当调整参数,使模型效果不断优化。

    数据建模的步骤(四)模型评估&sma&

    模型效果的评估有两个方面:一是模型是否解决了需要解决的问题(是否还有没有注意和考虑到的潜在问题需要解决);二是模型的精确性(误差率或者残差是否符合正态分布等)。

    如:在识别KOL假粉的问题中,需要评估的是:

    模型能否识别出假粉?

    识别的误差率是多少?粉丝识别误差率=(假粉误认为真粉的数量+真粉误认为假粉的数量)/总粉丝数

    数据建模的步骤(五)结果呈现&sma&

    结果呈现主要关注以下三个方面:

    模型解决了哪些问题?

    解决效果如何?

    如何解决问题?具体操作步骤是什么?

    数据建模的步骤(六)模型部署&sma&

    通过大量数据解决了一个或多个重要的现实问题,需要将方案落实下去,一般情况下需要通过线上技术环境部署落实,从而为后面不断优化模型、更好地解决问题打下基础。

    交由工程人员部署技术环境,需要数据建模团队撰写需求文档,并确保工程人员理解需求文档的内容,才能达到较好的模型部署效果。

文章目录

数据建模的步骤(一)制订目标&sma&

制订目标的前提是理解业务,明确要解决的商业现实问题是什么?

如:在社交平台KOL中,存在假粉丝的情况,如何识别假粉就是一个要解决的现实问题。

数据建模的步骤(二)数据理解与准备&sma&

基于要解决的现实问题,理解和准备数据,一般需要解决以下问题:

需要哪些数据指标(即特征提取)?(如:哪些指标能区别真粉和假粉?)

数据指标的含义是什么?

数据的质量如何?(如:是否存在缺失值?)

数据能否满足需求?

数据还需要如何加工?(如:转换数据指标,将类别型变量转化为0-1哑变量,或将连续型数据转化为有序变量)

探索数据中的规律和模式,进而形成假设。

需要注意的是,数据准备工作可能需要尝试多次。因为在复杂的大型数据中,较难发现数据中存在的模式,初步形成的假设可能会被很快推翻,这时一定要静心钻研,不断试错。

数据建模后需要评估模型的效果,因此一般需要将数据分为训练集和测试集。

数据建模的步骤(三)建立模型&sma&

在准备好的数据基础上,建立数据模型,这种模型可能是机器学习模型,也可能不需要机器学习等高深的算法。选择什么样的模型,是根据要解决的问题(目标)确定的。

当然可以选择两个或以上的模型对比,并适当调整参数,使模型效果不断优化。

数据建模的步骤(四)模型评估&sma&

模型效果的评估有两个方面:一是模型是否解决了需要解决的问题(是否还有没有注意和考虑到的潜在问题需要解决);二是模型的精确性(误差率或者残差是否符合正态分布等)。

如:在识别KOL假粉的问题中,需要评估的是:

模型能否识别出假粉?

识别的误差率是多少?粉丝识别误差率=(假粉误认为真粉的数量+真粉误认为假粉的数量)/总粉丝数

数据建模的步骤(五)结果呈现&sma&

结果呈现主要关注以下三个方面:

模型解决了哪些问题?

解决效果如何?

如何解决问题?具体操作步骤是什么?

数据建模的步骤(六)模型部署&sma&

通过大量数据解决了一个或多个重要的现实问题,需要将方案落实下去,一般情况下需要通过线上技术环境部署落实,从而为后面不断优化模型、更好地解决问题打下基础。

交由工程人员部署技术环境,需要数据建模团队撰写需求文档,并确保工程人员理解需求文档的内容,才能达到较好的模型部署效果。

商业智能BI资料包

扫码添加「小麦」领取 >>>

商业智能BI资料包

扫码添加「小麦」领取 >>>

新一代商业智能BI工具

覆盖传统BI、自助BI、现代BI不同发展阶段,满足企业数字化转型的多样化需求

让数据成为增长引擎,解锁行业领先的智能BI实践方案!

前往下载
Copyright© 广州9227新葡的京集团有限公司  粤ICP备11104361号 网站地图

电话咨询

售前咨询
400-878-3819 转1

售后咨询
400-878-3819 转2
服务时间:工作日9:00-18:00

微信咨询

添加企业微信 1V1专属服务

XML 地图