论文题目：非独立同分布下DBSCAN算法的研究
摘要：聚类方法是数据挖掘的重要组成部分,其目的是把相似的数据对象聚在一起,把不相似的数据对象尽可能地分离,是一个极富挑战性的研究领域。DBSCAN是一种性能优越的基于密度的聚类算法,该算法将具有足够密度的区域划分为数据簇,数据簇为密度相连的数据对象的最大集合,算法的显著优点是聚类速度快,能够有效处理噪声点,且能发现任意形状的空间聚类。但是由于传统的DBSCAN算法存在假设数据对象和属性之间是独立同分布的,传统的距离公式难以准确度量类别型数据对象和属性之间的相似度,且参数敏感不易确定等问题。为了解决上述问题,本文研究了非独立同分布下的DBSCAN算法。采用非独立同分布的思想处理类别型数据的无监督聚类问题,即利用非独立同分布的耦合相似度公式计算数据对象和属性之间的相似度,将得到的耦合相似度以矩阵的形式输出。利用邻域区间值（邻域区间下限值Eps1和邻域区间上限值Eps2）和阈值来划分高密度数据集合,从而可以更快地得到更高质量的聚类结果。针对普通的类别型数据,提出了Non-IID DBSCAN算法（DBSCAN under Non-Independent and Identical Distribution）,升序排列耦合相似度最大的数据对象Om与其他数据对象的耦合相似度得到数组Rm,利用绘制数组Rm的可视化方法来选择邻域区间下限值Eps1,观察发现曲线先缓慢上升后趋于平稳,最后在某处突然变陡,则将曲线突然变陡处对应的耦合相似度的值设置为邻域区间下限值Eps1,同时找到邻域区间下限值Eps1的相似度较大侧的所有K-近邻值（K取Minpts的值）,并将其最大值设置为邻域区间上限值Eps2。利用密度公式判断数据的稀疏稠密程度,即根据密度值的大小设置参数阈值Minpts。通常情况下,若密度值较大时,阈值Minpts取值为4,若密度值较小时,阈值Minpts取值为2。针对含有布尔型数据的类别型数据,提出了NIB-DBSCAN算法（DBSCAN under Non-Independent and Identical Distribution for Boolean data）,通过利用散点图拟合数据对象和属性耦合相似度的分布情况,找到数据簇与数据簇的分界点,将其对应的耦合相似度的值设置为邻域区间下限值Eps1。对于数据簇数量较少的数据集,利用加权平均数选择参数阈值Minpts;对于数据簇数量较大的数据集,利用特殊值方法选择参数阈值Minpts。最后通过UCI数据集的实验结果表明,非独立同分布下的DBSCAN可以获得更高精度的聚类结果,且提高了算法的适用性。
关键词：非独立同分布;耦合关系;DBSCAN算法;耦合相似度矩阵;统计学原理
学科专业：计算机应用技术
摘要
ABSTRACT
第1章 绪论
1.1 研究背景及意义
1.2 国内外研究现状
1.3 论文主要内容
1.4 论文组织形式
第2章 聚类方法概述与分析
2.1 定义
2.2 分类
2.2.1 基于划分的聚类方法
2.2.2 基于层次的聚类方法
2.2.3 基于密度的聚类方法
2.2.4 基于网格的聚类方法
2.2.5 基于模型的聚类方法
2.3 本章小结
第3章 非独立同分布思想及案例分析
3.1 非独立同分布的概念
3.2 耦合性
3.2.1 耦合的概念
3.2.2 经典的耦合关系
3.3 相似度度量
3.3.1 信息表
3.3.2 耦合属性值相似度
3.3.3 属性内耦合属性值相似度
3.3.4 属性间耦合属性值相似度
3.4 非独立同分布学习的案例研究
3.4.1 非独立同分布学习的主要原则
3.4.2 行为和社会系统中的非独立同分布性
3.5 本章小结
第4章 Non-IID DBSCAN算法
4.1 基本思想
4.2 算法实现
4.2.1 生成耦合相似度矩阵
4.2.2 阈值Minpts参数的选择
4.2.3 邻域区间值(Eps1,Eps2)参数的选择
4.2.4 算法伪代码
4.3 实验结果与分析
4.3.1 算法评价指标
4.3.2 参数选择
4.3.3 算法验证
4.4 本章小结
第5章 NIB-DBSCAN算法
5.1 算法思想
5.2 参数选择
5.2.1 阈值Minpts参数选择
5.2.2 邻域区间值(Eps1,Eps2)参数选择
5.3 算法描述
5.4 实验和评价
5.4.1 算法评价指标
5.4.2 实验数据
5.4.3 算法分析
5.5 本章小结
第6章 总结和展望
6.1 全文总结
6.2 工作展望
参考文献
致谢
二、其它科研成果