Tag: tokenize

如何使用Node.js标记化标记？

即时通讯构build一个iOS应用程序，有一个视图，将有源自降价。 我的想法是能够将存储在MongoDB中的降价分析成如下所示的JSON对象： { "h1": "This is the heading", "p" : "Heres the first paragraph", "link": { "text": "Text for link", "url": "http://exampledomain.com", } } 在服务器上，我正在运行Node.js，并且正在查看标记为最受欢迎的模块。 它使我可以访问Lexer，这是标记化一些自定义对象的降价。 但是当我看着这个对象的时候，它并没有标记出这个链接。 如果我继续parsingHTML的标记，则会检测到该链接，并且HTML看起来正确。 看了一些更多的模块，失败后，我想也许我可以在客户端上做到这一点，发现MMMarkdown看起来很有前途，但是再次..当直接parsing到HTML时，工作正常，但是当介入之间，只是parsing所谓的MMDocument降价，它不包含任何types的链接的MMElement。 那么，有什么关于降价parsing的基础知识，我失踪了？ 内联链接的Lexing应该是在第二轮，或什么的？ 我不能让我的头在附近。 如果没有其他的工作，我可能会使用一个UIWebView充满了从parsing的降价HTML的HTML，但是我们必须再次devise整个事情，但与CSS，我们没有时间，所以我们不能重新负担得起双重工作。

如何parsing/标记Node.js中的SQL语句

我正在寻找一种方法来parsing/标记化Node.js应用程序中的SQL语句，以便： 标记所有在ISO / IEC 9075标准或这里定义的“基本”SQL关键字。 validationSQL语法。 找出查询要做什么（例如读或写？）。 你有任何解决scheme或build议偷看？ 链接： 任何Javascript / Jquery库validationSQL的声明？ 我做了研究，并find了一些方法来做到这一点： 使用现有的node.js库 我做了一个谷歌search ，我没有find一个合意和stream行的图书馆使用。 我发现那些： simple-sql-parser （ github上22星，每天下载16个npm ） 仅支持SELECT，INSERT，UPDATE和DELETE 路上有一个v2分支 sql-parser （ github上的90颗星， npm上每天下载6颗） 只支持基本的SELECT语句 基于jison sqljs （ github上有17颗星， npm每天下载5颗） v0.0.0-3，正在开发中…完全没有文档:) 不幸的是，这些图书馆中没有一个是完全可信的。 基于node.js低级标记器库自己做 我可以用一个低级的tokenizer库来做到这一点，比如： jison （ github上的1,457颗星， npm上每天下载240颗星） tokenizer （ github上的44颗星， npm上每天下载10次） 基于现有的Javascript代码美化器自己做 CodeMirror是一个很酷的Javascript库（浏览器端），可以识别SQL关键字，string等。检查演示 。 我可以构build一个基于CodeMirror的node.js库标记器。 SQL模式在github上 ，我可以调整它来获取节点应用程序中的令牌。 PS： CodeMirror在github上有5046颗星，维护得很好。