扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
ES的聚合是其一大特色。然而出于性能的考虑， ES的聚合是以分片Shard为单位，而非Index为单位， 所以
有些聚合的准确性是需要注意的。 比如： TermAggregations.
es的基数聚合使用到了hyperloglog算法。 出于好奇，了解了一下。
在海量数据场景下， 我们通常会遇到这样的两个问题:
数据排重。比如在推送消息场景，消息重复对用户是打扰， 用户发券场景， 重复发券就是损失了。
如何高效解决这两类问题呢？
对于数据排重， 我们可以使用布隆过滤器。java 样列代码如下:
BloomFilter bloomFilter = BloomFilter.create(new Funnel() {
private static final long serialVersionUID = 1L;
@Override
public void funnel(String arg0, PrimitiveSink arg1) {
arg1.putString(arg0, Charsets.UTF_8);
}
}, 1024*1024*32);
bloomFilter.put("asdf");
bloomFilter.mightContain("asdf"); 对于计数， 我们可以使用HyperLogLog算法，ES中已经有相关的实现。
其实封装一下，布隆过滤器也是能直接实现HyperLogLog算法的功能的。
这里遗留几个问题，思考清楚后补充:
另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
微信二维码
移动版官网