如何利用机器学习和分布式计算对用户事件

发布网友发布时间：2022-05-30 01:21

共1个回答

热心网友时间：2023-09-13 05:14

给你解释一下这些术语：云计算：就是个炒得很热的商业概念，其实说白了就是将计算任务转移到服务器端，用户只需要个显示器就行了，不过服务器的计算资源可以转包。当然，要想大规模商业化，这里还有些问题，特别是隐私保护问题。大数据：说白了就是数据太多了。如今几兆的数据在20年前也是大数据。但如今所说的大数据特殊在哪呢？如今的问题是数据实在是太多了，这已经超过了传统计算机的处理能力（区别与量子计算机），所以对于大数据我们不得不用一些折衷的法（比如数据挖掘），就是说没必要所有数据都需要精确管理，实际上有效数据很有限，用数据挖掘的方法把这些有限的知识提取出来就行了。·此外，数据抽样，数据压缩也是解决大数据问题的一些策略。数据挖掘：从数据中提取潜在知识，这些知识可以描述或者预测数据的特性。有代表性的数据挖掘任务包括关联规则分析、数据分类、数据聚类等，这些你在任一本数据挖掘教材都可以了解。下面我说说和大数据的区别：数据挖掘只是大数据处理的一个方法。马云所说的大数据，或者如今商业领域所说的大数据，实际上指的就是数据挖掘，其实真正所谓大数据，或者Science杂志中提到的大数据，或者奥巴马提出的大数据发展战略，我的理解是，这些都远远大于数据挖掘的范畴，当然数据挖掘是其中很重要的一个方法。真正目的是如何将大数据进行有效管理。机器学习：这个词很虚，泛指了一大类计算机算法。重点是学习这个词，如果想让计算机有效学习，目前绝大多数方法都采用了迭代的方法。所以在科研界，只要是采用了这种迭代并不断*近的策略，一般都可以归到机器学习的范畴。此外，所谓学习，肯定要知道学什么，这就是所谓训练集，从训练集数据中计算机要学到其中的某个一般规律，然后用一些别的数据（即测试集）来看看学得好不好，之后才能用于实际应用。所以，选取合适的训练集也是个学问。模式识别：意思就是模式的识别。模式多种多样，可以是语言，可以是图像，可以是事物一些有意义的模块，这些都算。所以总体来说，模式识别这个词我是觉得有点虚，倒是具体的人脸图像识别、声音识别等，这些倒是挺实在的。也许是我不太了解吧。另外说说你的其他问题。传统分析方法不包括数据挖掘。对于数据分析这块我不是很了解，不过可以肯定的是，传统分析都有一定的分析方向，比如我就想知道这两个商品的关联情况，那我查查数据库就行了。数据挖掘虽说有些历史，不过也挺时髦的，它是自动将那些关联程度大的商品告诉你，这期间不需要用户指定数据分析的具体对象。如果想应对大数据时代，数据挖掘这门课是少不了的。此外对数据库，特别是并行数据库、分布式数据库，最好了解点。至于机器学习和模式识别，这些总的来说和数据挖掘关系不太大，除了一些特殊的领域外。总之，概念挺热，但大数据还很不成熟，无论从研究上还是商业化上。我目前在作大数据背景下的算法研究，说实话，目前基本没有拓展性非常强的算法，所以未来大数据的发展方向，我也挺迷茫。PS：将数据挖掘应用于商业，最最重要的就是如何确定挖掘角度，这需要你对具体应用的领域知识非常了解，需要你有非常敏锐的眼光。至于数据挖掘的具体算法，这些就交给我们专门搞研究的吧！（对算法的理解也很重要，这可以把算法拓展到你的应用领域）