随着通信技术快速发展,互联网和移动互联网的普及各类数据爆炸式增长,技术侦查能 获取更多更有价值的信息,但是传统的技术架构无法支撑持续的大数据量的增长以及更为丰 富的数据类型。大数据已经成为公安工作中各类案件线索、证据的重要来源之一。大数据的 发展提供了侦查思维新模式,海量数据的碰撞会使得公安工作更加系统、全面地进行。

硬件配置
北联宝德大数据一体机

解决方案
基于北联宝德大数据平台实现以下系统:
1、使用 kafka 作为数据总线。
2、slipstreaming 做实时的数据清洗,分析并入库到 hyperbase+es 的组合中提供基 于几十 PB 数据量的快速查询和搜索能力,并且每天入库 50T 左右的数据,数据延迟在 1min 之内。
3、使用 inceptor 建立技侦平台数仓,每天分析千亿级别的数据量,200 个专题,快速的完成跑批任务并供数到下游系统。
4、从 inceptor 中跑批的结果入库到 search+inceptor 中提供快速的分析查询,每天 入库近千亿行记录数据,95%的查询要求 1s 内返回且支持 1000 并发,亿级别的碰撞分析 在 30s 内返回。
5、非结构化的图片和文档存储到 hyperbase 的对象存储中,每天数据增量近60TB。

客户收益
1. 硬件成本降到 1/3
2. 千亿级数据搜索秒级返回
3. PB 级数据分析能力
4. PB 级非结构化数据的存储和检索
5. 时空分析秒级响应