文献类型：期刊文献

中文题名：基于MapReduce工作流优化器的研究

英文题名：RESEARCH ON WORKFLOW OPTIMISERS BASED ON MAPREDUCE

作者：袁开银[1]

第一作者：袁开银

机构：[1]河南财经政法大学现代教育技术中心

第一机构：河南财经政法大学

年份：2015

卷号：32

期号：10

起止页码：54-58

中文期刊名：计算机应用与软件

外文期刊名：Computer Applications and Software

收录：CSTPCD;;CSCD:【CSCD_E2015_2016】；

语种：中文

中文关键词：MapReduce;工作流;优化;数据流依赖;资源依赖;工作流优化器

外文关键词：MapReduce workloads;Optimisation;Dataflow dependency;Resource dependency;Workflow optimiser

摘要：对MapReduce工作流的优化主要是通过对MapReduce栈的优化实现的。针对MapReduce工作流的优化问题,首先,提出相关概念;其次,介绍MapReduce工作流基于成本的优化过程;然后,通过实例阐述MapReduce工作流中的数据流依赖和资源依赖关系。基于此,提出3种MapReduce工作流优化器,并对其进行端对端的评估。最后,通过实验评估工作流优化器的优化开销并对比分析了这3种工作流优化器。
The optimisation on MapReduce workflow is mainly achieved by optimising the MapReduce stack.For the problem of MapReduce workload optimisation,first we present the related concept;secondly,we introduce the cost-based optimisation process of MapReduce workflow;then we expound through examples the relation of dataflow dependency and resource dependency in MapReduce workflow.Based on this,we present three MapReduce workflow optimisers and carry out end-to-end evaluation on them.Finally,we evaluate the optimisation overheads of workflow optimisers through experiment and comparatively analyse all three of them.