Ai.KG资源列表郝伟 2021/09/30 [TOC]

1. 一些统计数据

在目录下共有sgdata和test两个文件，其中：

sgdata, 提出约3亿数据
test 有 ? 个CSV文件, 大小为 ? ，总共有 968,429,048 行记录。两者总计约13.3亿条记录，根据钉钉吴脂娟2021/09/01记录显示

查了下目前社工数据大小94G, 总行数1,333,871,403条

1.1. 2021/10/27

在HUE中查询以下语句： Select count(rowkey) from all_test_sgdata 返回 968,429,048

数据量统计

表名    数据量
CITY    2,310 
COUNTRY    231 
DOMAIN    298,765 
EMAIL    295,068 
FILE    1,759,934 
IP    2,968,233 
POC    1,039 
PORT    15,663 
THREAT_INTELLIGENCE    43,789,681 
URL    1,745,873 
VUL_INTELLIGENCE    11,272 
VUL    13,339 
DomainHasThreatIntelligence    2,956,968 
EmailHasThreatIntelligence    704,323 
FileHasThreatIntelligence    2,593,462 
IPHasCity    2,914,750 
IPHasCountry    2,902,208 
IPHasDomain    7,156 
IPHasEmail    13,325 
IPHasPort    110,329 
IPHasThreatIntelligence    31,993,424 
PocHasPort    926 
PocHasVulIntelligence    125 
URLHasDomain    10,573 
URLHasThreatIntelligence    5,541,359 
URLHasVulIntelligence    11,868 
VulHasVulIntelligence    13,881

2. 简介

2021/12/30 以下链接由于2021/11/29服务器掉电，导致环境损坏，以下链接失效。

2.1. CDH

作用：大数据管理平台地址：http://10.10.0.25:7180/cmf/home

2.2. HBase

作用：用于HBase的查询地址：http://10.10.0.25:8889/hue/editor?editor=1398

2.3. HUE

作用：用于HUE的查询地址：http://10.10.0.25:8888/hue/editor?type=impala 用户：admin 密码：admin

2.4. Ai.KG界面

商业版 https://47.94.23.179/home 作战版 https://117.71.62.132:8091/home

Ai.KG资源列表 2021/09/30