处理文本源

Question

假设我有一个文本文件，其中的行如下:

[4/20/11 17:07:12:875 CEST] 00000059 FfdcProvider  W com.test.ws.ffdc.impl.FfdcProvider logIncident FFDC1003I: FFDC Incident emitted on D:/Prgs/testing/WebSphere/AppServer/profiles/ProcCtr01/logs/ffdc/server1_3d203d20_11.04.20_17.07.12.8755227341908890183253.txt com.test.testserver.management.cmdframework.CmdNotificationListener 134
[4/20/11 17:07:27:609 CEST] 0000005d wle           E   CWLLG2229E: An exception occurred in an EJB call.  Error: Snapshot with ID Snapshot.8fdaaf3f-ce3f-426e-9347-3ac7e8a3863e not found.
                             com.lombardisoftware.core.TeamWorksException: Snapshot with ID Snapshot.8fdaaf3f-ce3f-426e-9347-3ac7e8a3863e not found.
   at com.lombardisoftware.server.ejb.persistence.CommonDAO.assertNotNull(CommonDAO.java:70)

是否可以轻松地将这样的数据源导入到protovis中，如果没有，将其解析为JSON格式的最简单方法是什么?例如，对于第一个条目，可以这样解析:

[
  {
 "Date": "4/20/11 17:07:12:875 CEST",
 "Status": "00000059",
 "Msg": "FfdcProvider  W com.test.ws.ffdc.impl.FfdcProvider logIncident FFDC1003I",
 },
]

谢谢你,大卫。

Answer 1

Protovis本身不提供任何解析文本文件的实用程序，所以您的选择是:

• 使用Javascript将文本解析为对象，最可能使用正则表达式。
• 使用文本解析语言或工具预处理文本，导出JSON文件。

你选择哪一个取决于几个因素:

• 数据是静态的，还是每次查看时都要在一个新的或动态的文件上运行?对于静态数据，可能最容易进行预处理;

• 你有多少数据?用Javascript解析20K的文本文件完全没问题;解析一个2MB的文件会非常慢，并且会导致浏览器在工作时挂起(除非你使用Workers)。

• 如果涉及到很多处理，您宁愿将负载放在服务器上(通过使用服务器端脚本进行预处理)还是放在客户端(通过在浏览器中进行处理)?

如果您想在Javascript中这样做，基于您提供的示例，您可以这样做:

// Assumes var text = 'your text';
// use the utility of your choice to load your text file into the
// variable (e.g. jQuery.get()), or just paste it in.
var lines = text.split(/[rnf]+/),
    // regex to match your log entry beginning
    patt = /^[(dd?/dd?/dd? dd:dd:dd:d{3} [A-Z]+)] (d{8})/,
    items = [],
    currentItem;
// loop through the lines in the file
lines.forEach(function(line) {
    // look for the beginning of a log entry
    var initialData = line.match(patt);
    if (initialData) {
        // start a new item, using the captured matches
        currentItem = {
            Date: initialData[1],
            Status: initialData[2],
            Msg: line.substr(initialData[0].length + 1)
        }
        items.push(currentItem);
    } else {
        // this is a continuation of the last item
        currentItem.Msg += "n" + line;  
    }
});
// items now contains an array of objects with your data