大数据有三个主要部分，分别是数学，统计学和计算机等学科。大数据基础知识往往决定了开发人员未来的成长高度，所以要重视基础知识的学习。
网站建设哪家好，找创新互联！专注于网页设计、网站建设、微信开发、微信小程序开发、集团企业网站建设等服务项目。为回馈新老客户创新互联还提供了锦州免费建站欢迎大家使用！
大数据平台是对海量结构化、非结构化、半机构化数据进行采集、存储、计算、统计、分析处理的一系列技术平台。大数据平台处理的数据量通常是TB级，甚至是PB或EB级的数据，这是传统数据仓库工具无法处理完成的，其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等，汇集了当前IT领域热门流行的各类技术。
扩展资料：
注意事项：
大数据的第一站就是收集和存储海量数据（公开/隐私）。现在每个人都是一个巨大的数据源，通过智能手机和个人笔记本释放出大量的个人行为信息。获取数据似乎已经变得越来越容易，数据收集这一模块最大的挑战在于获取海量数据的高速要求以及数据的全面性考虑。
传统商业智能在数据清洗处理的做法（ETL）是，把准确的数据放入定义好的格式中，通过基础的抽取统计生成高维度的数据，方便直接使用。然而大数据有个最突出的特征——数据非结构化或者半结构化。因为数据有可能是图片，二进制等等。数据清洗的最大挑战来了——如何转化处理大量非结构数据，便于分布式地计算分析。
参考资料来源：百度百科-大数据
大数据对于我们这些从业者来说，是不太喜欢说的一个词。所谓内行看门道，外行看热闹，大数据这两年风风火火，大家都争先恐后的讨论着，但说到如何掌握或者运用，很多人是不知所措的。
私以为，大数据的核心在三个地方：数学+计算机知识+业务
先说说题主说到的编程，我在这里将它纳入计算机知识这一部分，因为编程对于我们来说只是大数据的冰山一角。这两年大数据的发展，绝对不是因为编程语言的进步，很大一部分是由于计算机工具的进步或者硬件的提升。 尤其是现在计算机硬件价格的下跌，以及大数据处理工具的发展，如hadoop,spark等，带来了数据处理能力的飞速提升，才导致了现在大数据的越来越火。
至于我们说的数据挖掘知识和编程语言，这些都是很早以前就已经存在的知识，这几年也没有得到很令人惊喜的新进展（我说的是知识本身，不是指应用）。
总之： 大数据之所以得到人们关注，最重要的是数据处理工具的进步以及数据量的累积（尤其是互联网）
那么是不是说明 掌握编程或者计算机工具就是迈入大数据的关键路径呢？
答案：显然不是，数学才是真正的核心知识。
没错，数学是在数据挖掘领域非常重要的甚至是核心的部分，编程只是工具，真的只是工具。 编程语言有好几十种吗，但是数据挖掘理论知识就那儿点。 你用任何一门语言去实现你的数学思想便可以达到数据挖掘的目标。 学术研究甚至可以抛弃编程，完全只研究算法（注意：这样的话会容易造成纸上谈兵）。
使用缓存，比如memcache,redis,因为它们是在内存中运行，所以处理数据，返回数据非常快，所以可以应对高并发。
2.增加带宽和机器性能，1M的带宽同时处理的流量肯定有限，所以在资源允许的情况下，大带宽，多核cpu,高内存是一个解决方案。
3.分布式，让多个访问分到不同的机器上去处理，每个机器处理的请求就相对减少了。
简单说些常用技术，负载均衡，限流，加速器等
重庆分公司
重庆分公司
