MegaScriptにおける大規模ワークフローの縮約機構の設計

我々は，メガスケールコンピューティング向けの並列プログラミング言語として MegaScript を開発している．MegaScript はオブジェクト指向言語であり，個々のタスクや通信路であるストリームなどをオブジェクトで表す．このため柔軟な記述が可能である一方，タスク数に応じたオブジェクトが生成されるため，実行可能なワークフローの規模がマスターホストのメモリ量に制約される問題がある．そこで，配列の縮約表現を用いて等価なワークフローを表すことで，大規模ワークフローの情報を少ないメモリ量で保持できる手法を提案している．しかし，MegaScript 処理系に縮約機構を導入するにあたり，タスク間の通信が問題となる．現在の MegaScript 処理系は，一度にすべてのタスクプロセスを生成し，タスク間の通信を行っている．そのため，タスク間の通信を行う前に，縮約されているオブジェクトをすべて展開しなければならない．従って，この問題を解決するためにタスク間の通信方法を改良する必要がある．そこで本論文では，縮約状態のタスク群から必要なタスクのみを部分展開してプロセスを生成しタスク間通信を行えるように設計し，MegaScript 処理系に縮約機構を実装できることを明らかにする．We are developing a parallel script programming language MegaScript for large-scale workflows. MegaScript is an OOPL and each task and communication channel called stream is represented as an object. Although this feature enables flexible description of various workflows, the same number of objects are created for large amount of tasks. Thus, the executions of large-scale workflows are limited by the memory size of the master node. Therefore, we have proposed a scheme largely reducing the number of objects using array contraction. However, the current implementation of MegaScript runtime creates all task processes at the beginning of a workflow execution. Thus all contracted task arrays must be expanded. In this paper, we show a new design of MegaScript runtime which enables workflow execution with progressive creation of task processes. This design can minimize the expansion of contracted arrays and efficient workflow execution is possible.