支持多集群数据并行的on-demand文件传输算法

数据密集型应用通常需要在广域网分布式共享计算环境中高效地传输海量数据。并行处理中，大量的数据需要在生成集群、存储集群、处理集群间进行传输。针对该传输问题提出了一个支持多集群数据并行传输的按需文件传输算法(on-demandfiletransfer)，该算法以批量传输请求的整体完成时间最小为目的，根据集群内部快速传输的特点，实现目的端并行，分散单个节点的传输负载;在传输路径上，采用多重路径和多跳路径分割方法实现并行传输。对于批量传输请求，依据每个请求的传输负载，全局按需分配带宽，以解决传输路径的带宽冲突，从而充分利用当前网络带宽，快速传输批量传输请求。