DataSift提供Twitter历史信息结构化分析
据国外媒体报道,twitter开发人员很早以前就开始试图利用历史twitter消息了,但现在他们最多只能对过去7天的历史twitter消息进行关键字搜索。 datasift是twitter的数据合作伙伴之一,目前它可以实时地提供完整的twitter消息流水给开发人员和第三方,但在不久的将来开发人员就可以用它访问历史twitter消息了。开发人员现在可以开始报名参加datasift的historical data(历史数据)服务alpha测试(该服务将在明年第一季度推出)。 使用datasift的这个alpha测试版服务,开发人员、社交媒体监测公司、营销人员、品牌可以获得过去60天的twitter消息,你可以分析和过滤数据,而不仅仅是进行关键字搜索。当该服务在明年晚些时候大范围推出时,它会提供过去两年内的twitter消息。 datasift之所以能提供各种数据分析,是因为它把所有twitter数据放到一个结构化的数据库中,所以你可以进行这样的查询:“所有没有关注@ techcrunch的人提到techcrunch的twitter消息”或“提到时装的所有英国女性”。
该公司目前每天内部收集1 tb的数据 (这相当于是每天2.5亿条twitter消息产生的数据),目前总量已达400 tb。 datasift创始人尼克·霍尔斯特德 (nick halstead)在谈到该服务使用的hadoop技术时说:“这是一个真正的’大数据’引擎,我们让它变得很简单,但它是我们特别定制的数据处理引擎”。 腾讯科技
因篇幅问题不能全部显示,请点此查看更多更全内容