基于MapReduce的海量事件日志并行转化算法

计算机集成制造系统 ›› 2013, Vol. 19 ›› Issue (08 ): 1784-1793.

基于MapReduce的海量事件日志并行转化算法

窦蒙^1,2,3,闻立杰^1,2,3+,王建民^1,2,3,闫志强^1,4

1.清华大学软件学院
2.清华大学信息系统安全教育部重点实验室
3.清华大学清华信息科学与技术国家实验室
4.首都经济贸易大学信息管理与信息系统系

出版日期:2013-08-31 发布日期:2013-08-31
基金资助:
国家自然科学基金资助项目(61003099);国家863计划资助项目(2012AA040904);教育部—中国移动科研基金资助项目(MCM20123011)。

Parallel algorithm to convert big event log based on MapReduce

Online:2013-08-31 Published:2013-08-31
Supported by:
Project supported by the National Natural Science Foundation,China (No.61003099),the National High-Tech.R&D Program,China (No.2012AA040904),and the Ministry of Education and China Mobile Research Foundation,China(No.MCM20123011).

摘要/Abstract

摘要： 随着大数据时代的来临,为了高性能地转化海量分布式日志,提出事件日志在云平台上基于MapReduce架构的分布式转化算法。提出基于案例拆分的改进算法,以转化单机上的日志,使其变得可行;进一步提出基于MapReduce的并行转化算法。这是在过程挖掘领域中首次实现从海量原始日志到可扩展事件流事件日志的并行转化,极大地提高了转化性能。

关键词: 大数据, 事件日志, 过程挖掘, 映射归约, 可扩展事件流, 信息系统

Abstract: With the coming of big data time,to convert the mass distributed log in high performance,a distributed conversion algorithm of event log based on MapReduce framework was proposed.An improved algorithm based on case split was put forwarded,thus the conversion of log on single machine became feasible.Furthermore,a parallel algorithm based on MapReduce was proposed.In the area of process mining,it was the first time to realize the parallel conversion from mass original log to eXtensible Events Stream (XES) event log,and the conversion performance was improved extremely.

Key words: big data, event log, process mining, MapReduce, extensible event stream, infermation system

中图分类号:

TP301

窦蒙,闻立杰,王建民,闫志强. 基于MapReduce的海量事件日志并行转化算法[J]. 计算机集成制造系统, 2013, 19(08 ): 1784-1793.

[1]	王誓伟,徐晓斌,梁中军. 基于城市计算的分布式异常数据分级过滤算法[J]. 计算机集成制造系统, 2021, 27(9): 2525-2531.
[2]	鲁法明,崔明浩,包云霞,曾庆田,段华. 基于程序运行轨迹Petri网模型挖掘的死锁检测方法[J]. 计算机集成制造系统, 2021, 27(9): 2611-2624.
[3]	王丽丽,方贤文. 基于行为距离的带隐变迁过程模型挖掘方法[J]. 计算机集成制造系统, 2021, 27(9): 2670-2679.
[4]	汤雅惠,李彤,朱锐,南峰涛,付会林. 基于执行者过程树的双维度遗传过程挖掘方法[J]. 计算机集成制造系统, 2021, 27(9): 2680-2690.
[5]	李文俊,杨学强,杜家兴. 基于云计算的装备保障信息系统集成[J]. 计算机集成制造系统, 2021, 27(7): 1941-1950.
[6]	郑伟皓,周星宇,吴虹坪,李红梅,朱新童,文林江. 基于三维GIS技术的公路交通数字孪生系统[J]. 计算机集成制造系统, 2020, 26(第1): 28-39.
[7]	刘道元,郭宇,黄少华,方伟光,杨能俊. 基于DBN-DNN的离散制造车间订单完工期预测方法[J]. 计算机集成制造系统, 2020, 26(9): 2445-2452.
[8]	汤洪涛,费永辉,陈青丰,詹燕,鲁建厦,李晋青. 基于工业大数据的柔性作业车间动态调度[J]. 计算机集成制造系统, 2020, 26(9): 2497-2510.
[9]	方欢,李东月,孙书亚,方贤文. 基于直接后继关系对齐的过程符合性检测[J]. 计算机集成制造系统, 2020, 26(6): 1473-1482.
[10]	林雷蕾,杨良,闻立杰,周华,王建民. 基于信息熵的无标日志划分评价方法[J]. 计算机集成制造系统, 2020, 26(6): 1483-1491.
[11]	汤雅惠,朱锐,李彤,南峰涛,郑明,马自飞. 基于轨迹聚类种群的遗传过程混成挖掘算法[J]. 计算机集成制造系统, 2020, 26(6): 1510-1524.
[12]	刘聪,程龙,曾庆田,闻立杰,欧阳春. 基于Petri网的分层业务过程挖掘方法[J]. 计算机集成制造系统, 2020, 26(6): 1525-1537.
[13]	韩咚,田银花,杜玉越,张琴. 基于Petri网可达图的业务对齐方法[J]. 计算机集成制造系统, 2020, 26(6): 1589-1606.
[14]	李鹏飞,鲁法明,包云霞,曾庆田,朱冠烨. 基于医疗过程挖掘与患者体征的药物推荐方法[J]. 计算机集成制造系统, 2020, 26(6): 1668-1678.
[15]	杨程,谭昆,俞春阳. 基于评论大数据的手机产品改进[J]. 计算机集成制造系统, 2020, 26(11): 3074-3083.