是否有可能build立一个dynamic的任务列表nodejsasynchronous(瀑布,系列等…)

我正在从包含节点和边缘数据的mongo中收集一些信息。 首先我必须得到节点,这样我可以抓住它的边缘。 一旦我有一个边缘列表,然后回去,并抓住更多的节点(等..基于深度值)。 下面的代码是我如何尝试使用async.waterfall和任务列表的一个松散的例子。

最初我只有一个单一的任务,但是一旦我把我的第一个查询添加到任务数组。 不幸的是,这似乎并没有注册asynchronous,它不会继续处理我添加的任务。

有一个更好的方法吗?

var async = require('async') var mongoose = require('mongoose') var _ = requrie('underscore') var Client = this.Mongo.connect(/*path to mongo*/) var Node = mongoose.Schema({ id : String, graph_id : String }) var Edge = mongoose.Schema({ id : String, source_id : String, destination_id : String }) var Nodes = Client.model('myNode', Node) var Edges = Client.model('myEdge', Edge) var funcs = [] var round = 1 var depth = 2 var query = { node : { id : '12345' }, edge : { id : '12345' } } var addTask = function(Nodes, Edges, query, round, depth) { return function(callback) { queryData(Nodes, Edges, query, function(err, node_list) { if(depth > round) { round++ function_array.push(addTask(Nodes, Edges, query, round, depth)) } }) } } var queryData = function(Nodes, Edges, query, cb) { async.waterfall([ function(callback) { Nodes.find(query.node, function(err, nodes) { var node_keys = _.map(nodes, function(node) { return node.id }) callback(null, nodes, node_keys) }) }, function(nodes, node_keys, callback) { query.edge.$or = [ {'source_id' : {$in:node_keys}}, {'destination_id' : {$in:node_keys}} ] Edges.find(query.edge, function(err, edges) { var edge_keys = _.map(edges, function(edge) { if(edge['_doc']['source_id'] != query.node.id) { return edge['_doc']['source_id'] } else { return edge['_doc']['destination_id'] } callback(null, nodes, edges, node_keys, edge_keys) }) }) } ], function(err, nodes, edges, node_keys, edge_keys) { // update the results object then... cb(null, _.uniq(edge_keys) }) } var function_array = [] function_array.push(addTask(Nodes, Edges, query, round, depth)) async.waterfall(function_array, function(err) { Client.disconnect() //this should have run more than just the initial task but does not }) 

——————— UPDATE —————————

所以在尝试通过添加尾随函数来尝试获得Async瀑布或系列来实现这一点之后,我决定切换到使用async.whilst,现在对解决scheme感到满意。

 function GraphObject() { this.function_array = [] } GraphObject.prototype.doStuff = function() { this.function_array.push(this.buildFunction(100)) this.runTasks(function(err) { console.log('done with all tasks') } } GraphObject.prototype.buildFunction = function(times) { return function(cb) { if(times != 0) { this.function_array.push(this.buildFunction(times - 1)) } cb(null) } } GraphObject.prototype.runTasks = function(cb) { var tasks_run = 0 async.whilst( function(){ return this.function_array.length > 0 }.bind(this), function(callback) { var func = this.function_array.shift() func.call(this, function(err) { tasks_run++ callback(err) }) }.bind(this), function(err) { console.log('runTasks ran '+tasks_run+' tasks') if(err) { cb(500) } cb(null) }.bind(this) ) } 

你的function_array中的任务只能添加一个新的任务给数组,如果它不是数组中的最后一个任务。

你的情况,你的function_array只包含1个任务。 该任务本身不能添加额外的任务,因为这是最后的任务。

解决scheme是在数组中有2个任务。 引导进程的startTask,以及更多虚拟任务的finalTask​​。 在这种情况下,

function_array = [startTask, finalTask];

然后startTask将添加taskA,taskB将添加任务C并最终

function_array = [startTask, taskA, taskB, taskC, finalTask];

下面的示例代码说明了这些概念。

  var async = require('async'); var max = 6; var nodeTask = function(taskId, value, callback){ var r = Math.floor(Math.random() * 20) + 1; console.log("From Node Task %d: %d", taskId, r); // add an edge task if (taskId < max) { function_array.splice(function_array.length-1, 0, edgeTask); } callback(null, taskId + 1, value + r); }; var edgeTask = function(taskId, value, callback){ var r = Math.floor(Math.random() * 20) + 1; console.log("From Edge Task %d: %d", taskId, r); // add a node task if (taskId < max) { function_array.splice(function_array.length-1, 0, nodeTask); } callback(null, taskId + 1, value + r); }; var startTask = function(callback) { function_array.splice(function_array.length-1, 0, nodeTask); callback(null, 1, 0); }; var finalTask = function(taskId, value, callback) { callback(null, value); }; var function_array = [startTask, finalTask]; async.waterfall(function_array, function (err, result) { console.log("Sum is ", result); });