国内外著名的互联网公司使用hadoop都做了什么?谈HADOOP在大规模数据...
发布网友
发布时间：2022-04-25 20:57
我来回答
共1个回答
热心网友
时间：2022-04-14 06:42
节点数： 15台机器的构成的服务器集群服务器配置： 8核CPU，16G内存，1.4T硬盘容量。 HADOOP在百度：HADOOP主要应用日志分析，同时使用它做一些网页数据库的数据挖掘工作。节点数：10 - 500个节点。周数据量： 3000TB HADOOP在*：主要用于存储内部日志的拷贝，作为一个源用于处理数据挖掘和日志统计。主要使用了2个集群：一个由1100台节点组成的集群，包括8800核CPU（即每台机器8核）,和12000TB的原始存储(即每台机器12T硬盘)一个有300台节点组成的集群，包括2400核CPU（即每台机器8核），和3000TB的原始存储(即每台机器12T硬盘)由此基础上开发了基于SQL语法的项目：HIVE HADOOP在HULU 主要用于日志存储和分析13台机器构成的集群 （8核PUC，单台机器：4TB硬盘）基于HBASE数据库 HADOOP在TWITTER 使用HADOOP用于存储微博数据，日志文件和许多中间数据使用基于HADOOP构件的Cloudera's CDH2系统，存储压缩后的数据文件（LZO格式） HADOOP在雅虎：主要用于支持广告系统及网页搜索机器数：25000，CPU：8核集群机器数： 4000 个节点 (2*4cpu boxes w 4*1TB disk & 16GB RAM)
