spss购物篮分析

spss购物篮分析

下边我们就来看一下如何利用 Modeler 来帮助我们进行数据理解：。

使用 Modeler 进行缺失值分析。

什么是缺失值?。

缺失值就是指数据文件中的某些数据项是未知的值。

几乎所有的商业数据挖掘中,都要遇到缺失值的问题,有可能是数据采集中的失误,有可能客户不愿意提供某些信息,面对这样的数据,我们该如何是好 ? 使用这样的数据可能会对我们后期的建模产生不可预料的影响。

如果丢弃,这些数据中可能包含着宝贵的信息。

下边我们就来看一下如何利用 Modeler 来进行缺失值分析：。

缺失值示例。

第一步我们需要利用 Modeler 来确定数据文件中缺失值的类型和数量。

然后才能做进一步的处理。

首先我们看一下我们例子中需要用到的数据：。

从上图中我们可以看到编号有些记录的值是缺失的。

接下来我们打开 Modeler,新建 Stream,拖入一个可变文件节点到工作区。

双击节点。

选择示例数据文件作为输入。

然后我们点击可变文件节点的预览按钮。

得到结果如图：。

从预览图里我们可以看出记录 002 的年龄为 null,性别为空 , 这两个值都可以被 Modeler 自动识别为缺失值。

这是 Modeler 针对不同类型的数据做了不同的处理。

这里年龄被 Modeler 识别为整数类型,性别被识别为字符串类型。

另外我们发现 005 的电话号码依然为无,并没有做任何替换。

着我们这个示例里电话号码无是一个语义上的缺失值,在很多数据文件中都可能含有这样的信息,那么在 Modeler 里怎么定义这样的缺失值呢?这个我们稍后会做介绍。

利用数据审核节点审核数据。

数据审核节点可以提供给我们很多有用的信息,其中就包括数据缺失值信息。

下边,我们就将数据审核节点加入到我们的 stream 中来,连接可变文件节点和数据审核节点,运行 Stream,我们可以得到下图。

从上图中我们可以看到很多有用的信息,数据的分布图形,数据的类型,统计值等,在这里我们要关注的是最后一列有效数据,这里我们发现年龄,性别,学历,月收入的有效值都不是 30,这说明 数据审核节点已经成功的帮我们识别出了这两列的缺失值。

同时我们可以发现电话这一项的有效数据仍然是 30.。

下边我们就来看看如何在 Modeler 中定义缺失值。

缺失值定义。

双击可变文件节点,选择类型页。

如下图：。

在类型页里我们发现有一列名为缺失,我们在电话这一列我们点击缺失这以空白项。

我们选择指定…,会打开一个新的页面：。

如上图,我们选择定义空白,添加一个缺失值为无。

然后点击确定,关闭窗口。

接着我们再来运行数据审核,得到如下结果：。

这次我们可以发现电话这一项的有效数据变成了 29. 说明我们定义的缺失值成功了。

然后我们选择数据审核节点的质量页,如下图 :。

从上图中可以看出完整的字段为 37.5%,完整的记录为 83.33%,这时我们可以决定如何处理缺失值,如果我们完整的字段占的比例很高,那么我们一般应该过滤掉包含缺失值的字段然后进行建模。

另一种情况,如果完整记录所占比例较高那么我们应该删除那些含有缺失值的记录然后进行建模。

Modeler 考虑到这两种情况,提供了非常实用的功能来帮助我们进行数据的筛选。

我们打开数据审核结果,选择质量页面,单击工具条上的生成按钮,里边可以选择生成列的过滤节点,或者值的选择节点。

生成的节点可以帮助我们自动过滤含有缺失值的行或者列。

上面所说的对缺失值的处理是删除含有缺失值的列或者行,还有一种办法是我们可以对缺失值进行填充,比如我们可以用缺失值所在列的平均值,随机值来进行填充,或者我们对该列进行建模预测,来达到填充缺失值的目的。

使用 Modeler 进行异常值分析。

什么是异常值。

异常值就是数据文件中那些和其它值相比有明显不同的值,它们可以通过观察数据分布来确定。

在具体考虑异常值时,我们需要注意异常值的类型,一般分为两种,一种是可枚举类型,比如超市里的商品名,商品名不可能有异常值。

假如我们利用会员购买的商品来预测他会不会购买体育用品,因为商品很多,使得购买相同商品的用户数量很少,所建模型就会很不稳定。

这时我们应该对商品进行抽象,比如抽象为水果,零食,日用品,蔬菜,化妆品等,用这样的数据进行预测,就会使模型可靠性提升。

利用 Modeler 里的分布节点可以对这种可枚举类型的数据进行分组。

假如我们有上表这样的数据,我们如何将商品进行抽象分组呢?首先我们建立一个 stream,用可变文件节点来读取数据。

然后连接一个分布节点。

运行分布节点,得到下图。

比如我们可以选择梨,苹果,然后右键选择组,建立一个水果组。

类似的建立一个化妆品组。

然后我们可以选择生成菜单,让 Modeler 自动帮我们生成一个分组节点。

这样,我们就可以用水果,化妆品这样的具有一定抽象意义的值来代替原来具体的值。

另一种类型就是连续型数据,比如用户收入,用户年龄等。

对于连续型数据,运行数据审核节点,在质量页面我们就可以查看离群值和极值。

默认情况下,Modeler 是根据平均值的标准差来确定离群值和极值的。

在运行数据审核结果页面我们也可以设置离群值和极值的处理方法。

选择工具条里的生成按键,选择离群值和极值超节点。

这时,Modeler 会帮我们自动生成一个过滤离群值和极值的超节点。

我们连接可变文件节点和这个超节点,Modeler 就会帮我们按照我们期望的处理方式来处理离群值和极值。

还有一种异常值是需要多个列组合才能看出来。

比如某顾客每个月在超市消费额都在 1000 以上,但是他的会员信息显示他的月收入为 1000 元,这条记录就可以被识别为异常值。

需要进一步分析。

同样 Modeler 也提供了相应的功能来帮助我们识别这样的联合分布的异常值。

从上边的数据中,我们很难发现哪条数据有异常,下边我们就用 Modeler 里的图节点来帮助我们分析数据。

我们将可变文件节点的数据文件指向示例数据,添加一个图节点,并双击图节点,如图：。

这是我们能明显看到左上角的一个异常值,鼠标移动到这个点上,我们可以看到这个点所代表的详细信息。

使用 Modeler 观察数据项之间联系。

对于数据挖掘来说在进行真正的建模之前,通过观察数据项之间的关系,特别是输入数据项和目标数据项之间的关系,是非常有意义的,它能快速的让我们对数据之间的关系有个大概了解,精简一些不必要的数据项,提高建模速度和稳定性。

下边我们就以超市调查结果来看,其中已经将会员消费记录整合成水果,蔬菜,日常用品,零食等,这些列的数字代表此项消费在该会员所有消费中所占的百分比。

最后一列表示用户是否对体育用品优惠活动感兴趣。

同样我们新建一个 Stream,加入一个可变文件节点,修改文件路径到示例数据,然后,我们连接一个均值节点。

双击均值节点,进入编辑：。

我们选择接受为分组字段,年龄,月收入,水果,蔬菜,日常用品,零食为测试字段。

然后,我们运行均值节点,得到下表：。

从统计数据来看,可以决定用户是否对体育用品感兴趣的重要因素为水果,日常用品,年龄,蔬菜。

而零食和月收入对预测影响较小。