1、数据收集：（1）Scrapy:协助使用者自动提取网页所需信息，并将其整理为表格或JSON格式的数据结构；（2）Selenium:使用者在感兴趣的网站上已经进行了交互行为之后，Seleniumn一般能派上用场；（3）BeautifulSoup：用来收集网站内容的Python库，更适合应用于规模相对较小的问题或一次性任务。
站在用户的角度思考问题，与客户深入沟通，找到桃山网站设计与桃山网站推广的解决方案，凭借多年的经验，让设计与互联网技术结合，创造个性化、用户体验好的作品，建站类型包括：网站制作、网站建设、企业官网、英文网站、手机端网站、网站推广、域名与空间、网站空间、企业邮箱。业务覆盖桃山地区。
2、数据清理和转化：（4）Pandas:必须学习的，使用者可以运用Pandas操控处于Pandas数据框架内的数据，而且其内置巨量的函数，帮助使用者进行数据转换；（5）Numpy:必须学习的，Numpy将Python的对象列表拓展成了全面的多维度序列，而且其内置海量的数学函数；（6）Spacy:帮助使用者将自由文本转化为结构型数据，支持多种语言版本。
3、数据可视化：（7）Matplotlib:最全面的Python数据可视化库；（8）Plotly:只需要写最少的代码就能得出最多彩缤纷的图像。
4、数据模块化：（9）Scikit Learn:高级分析师，开启机器学习之旅，有六大主要模块:数据预处理，维度缩减，数据回归，数据分类，数据聚类分析，模型选择；（10）Tensorflow：由谷歌推出的来源机器学习库，是一个基于网页自动生成的仪表盘，它将数据学习流和结果进行了可视化处理，这一功能对于排错和展示都十分有用；（11）PyTorch:由Facebook发布的一个开源库，用作Python的公共机器学习框架。
5、音频和图像识别：（12）OpenCV：是最常用的图像和视频识别库，能让Python在图像和视频识别领域完全替代Matlab，不仅支持Python，还支持JAVA和Matlab；（13）Librosa：是一个非常强大的音频和声音处理Python库，可以从音频段中提取各个部分，例如节奏以及节拍。
6、网页：（14）Django：开发网页服务后端，设计理念是能用几行代码就建立一个网站的高级框架；（15）Flask：是一个用于Python的轻量级网页开发框架。
应该说，现在是国产分布式数据库发展的利好时期。在讨论发展前景前，首先要先看看分布式数据库的发展方向。
大家把传统关系型数据库称作oldSQL，给人感觉要被淘汰似的。但其实数据量不是很大或者事务处理的场景夏，关系型数据库的还是占优的。
关系型数据库的主要问题在于：
性能瓶颈，
单一模型（关系模型），只适合OLTP
应对业务的灵活性不够，
弹性扩充能力不够，
两地三中心和双活等问题上不足。
随着互联网和手机的飞速发展，无论从用户规模、使用频率、还是场景多样性都使得这些问题浮出水面。其实Oracle在92年就开始尝试转向分布式，还当时引起了业界的巨大争论，最后失败。更何况过去CPU、内存、存储、带宽的高成本导致分布式数据库的性价比并不高，只能停留在学术阶段，限制了分布式的发展。
新分布式数据库首先是要避免和传统关系型数据库的竞争，这是明智的选择，能够轻装上阵。因此从几个方面入手，应对海量数据处理、分析、缓存、流式处理、开发模式等等。相对应列式，KV，Document等多种存储数据结构。
所有这些都被称为NoSQL数据库，放弃ACID和事务能力还换取性能。然而，NoSQL又收到了大量的批评反对意见，主要是说把数据库应该处理的问题交还给了开发是种发展的倒退。这些问题包括，索引、版本、SQL支持、事务支持等等。市场上超过90%的开发员都需要SQL，而且SQL也是非常有效和成熟。于是大家无论底层是什么存储结构又开始支持SQL，形成了NewSQL。
这里插一句题外话，在硅谷已经不再用SQL、NoSQL、NewSQL来划分数据库了。理由很简单，SQL是一种语言，从来没有SQL数据库的说法，自然也不应该有NoSQL数据库的说法。NewSQL数据库就更不合理，用的SQL并非什么“New“的新东西。所以专业上用关系型和非关系型数据库来划分，分布式数据库主要都是非关系型数据库。
回过头来看国内分布式数据库市场需求，中小企业不满足Mysql的性能，分库分表又很难搞，也不彻底；大型企业被Oracle等垄断支付高额成本，而且又不解决实际碰到的瓶颈问题。因此，用户都在寻找新的解决方案。小型用户、云计算的用户、大型企业都需要对应的分布式数据库产品。
再加上国产自主和去IOE浪潮，更加推动了国产分布式数据库的发展利好。值得注意的是，数据库研发是个严肃的事情，没法短平快。
大数据市场规模不断提升增加了我国隐私数据监管的难度
根据中国信通院数据显示，2016-2019年我国大数据市场规模呈不断上升趋势。大数据是指在一定时间内用常用软件对内容进行抓取和处理的数据集合，不同于传统的数据抓取方式，在大数据环境下，80%以上都是非结构化数据通常采用非关系型数据库(NoSQL)存储技术完成对大数据的抓取、管理和处理。
而非关系型数据库目前尚无严格的访问控制机制及相对完善的隐私保护工具，现有的隐私保护技术，如去标识化、匿名化技术等，多适用于关系型数据库。
因此，大数据环境下，传统的数据监管技术已经失效，目前我国较难以对大数据进行监管。此次滴滴事件就是利用“滴滴出行”APP对用户信息进行了大数据抓取。
加紧完善大数据安全问题
此次滴滴事件主要在“滴滴出行”APP上利用大数据抓取客户隐私数据，在赴美IPO后导致数据泄露。未来，我国或将更加重视大数据安全问题，积极构建大数据安全综合防御体系、强化大数据平台安全保护、完善数据安全技术体系、加强隐私保护核心技术产业化投入，避免类似于此次滴滴事件再次发生。
网络安全市场规模将会进一步提升
滴滴事件之后，我国将会更加重视网络安全的发展。未来，随着《密码法》、《网络安全审查办法》等网络安全领域法律法规政策文件不断出台、加速制定，信创市场需求加速释放，有望推动市场进入稳定增长期;并且“新基建”加速建设必将催生和引领新的网络安全需求，形成可观的增量市场。前瞻预计，未来网络安全市场将保持15%增速，到2026年市场规模预计将达到3937亿元。
——以上数据参考前瞻产业研究院《中国网络安全行业发展前景预测与投资战略规划分析报告》。
目录
- 数据库分类维度：关系型/非关系型、交易型/分析型
- NoSQL数据库的进一步分类
- OLTP市场规模：关系型数据库仍占营收大头
- 数据库市场份额：云服务和新兴厂商主导NoSQL
- 开源数据库 vs. 商业数据库
- 数据库三大阵营：传统厂商和云服务提供商
最近由于时间原因我写东西少了，在公众号上也转载过几篇搞数据库朋友的大作。按说我算是外行，没资格在这个领域品头论足，而当我看到下面这份报告时立即产生了学习的兴趣，同时也想就能看懂的部分写点心得体会分享给大家。
可能本文比较适合普及性阅读，让数据库领域资深的朋友见笑了：）
数据库分类维度：关系型/非关系型、交易型/分析型
首先是分类维度，上图中的纵轴分类为Relational Database（关系型数据库，RDBMS）和Nonrelational Database （非关系型数据库，NoSQL），横轴的分类为Operational（交易型，即OLTP）和Analytical（分析型，即OLAP）。
按照习惯我们先看关系型数据库，左上角的交易型类别中包括大家熟悉的商业数据库Oracle、MS SQL Server、DB2、Infomix，也包括开源领域流行的MySQL（MariaDB是它的一个分支）、PostgreSQL，还有云上面比较常见的SQL Azure和Amazon Aurora等。
比较有意思的是，SAP HANA正好位于交易型和分析型的中间分界处，不要忘了SAP还收购了Sybase，尽管后者今天不够风光了，而早年微软的SQL Server都是来源于Sybase。Sybase的ASE数据库和分析型Sybase IQ还是存在的。
右上角的分析型产品中包括几款知名的列式数据仓库Pivotal Greenplum、Teradata和IBM Netezza（已宣布停止支持），来自互联网巨头的Google Big Query和Amazon RedShift。至于Oracle Exadata一体机，它上面运行的也是Oracle数据库，其最初设计用途是OLAP，而在后来发展中也可以良好兼顾OLTP，算是一个跨界产品吧。
再来看非关系型数据库，左下角的交易型产品中，有几个我看着熟悉的MongoDB、Redis、Amazon DynamoDB和DocumentDB等；右下角的分析型产品包括著名的Hadoop分支Cloudera、Hortonworks（这2家已并购），Bigtable（来自Google，Hadoop中的HBase是它的开源实现）、Elasticsearch等。
显然非关系型数据库的分类要更加复杂，产品在应用中的差异化也比传统关系型数据库更大。Willian Blair很负责任地对它们给出了进一步的分类。
NoSQL数据库的进一步分类
上面这个图表应该说很清晰了。非关系型数据库可以分为Document-based Store（基于文档的存储）、Key-Value Store（键值存储）、Graph-based（图数据库）、Time Series（时序数据库），以及Wide Cloumn-based Store（宽列式存储）。
我们再来看下每个细分类别中的产品：
文档存储 ：MongoDB、Amazon DocumentDB、Azure Cosmos DB等
Key-Value存储 ：Redis Labs、Oracle Berkeley DB、Amazon DynamoDB、Aerospike等
图数据库 ：Neo4j等
时序数据库 ：InfluxDB等
WideCloumn ：DataStax、Cassandra、Apache HBase和Bigtable等
多模型数据库 ：支持上面不只一种类别特性的NoSQL，比如MongoDB、Redis Labs、Amazon DynamoDB和Azure Cosmos DB等。
OLTP市场规模：关系型数据库仍占营收大头
上面这个基于IDC数据的交易型数据库市场份额共有3个分类，其中深蓝色部分的关系型数据库（RDBMS，在这里不统计数据挖掘/分析型数据库）占据80%以上的市场。
Dynamic Database（DDMS，动态数据库管理系统，同样不统计Hadoop）就是我们前面聊的非关系型数据库。这部分市场显得小（但发展势头看好），我觉得与互联网等大公司多采用开源+自研，而不买商业产品有关。
而遵循IDC的统计分类，在上图灰色部分的“非关系型数据库市场”其实另有定义，参见下面这段文字：
数据库市场份额：云服务和新兴厂商主导NoSQL
请注意，这里的关系型数据库统计又包含了分析型产品。Oracle营收份额42%仍居第一，随后排名依次为微软、IBM、SAP和Teradata。
代表非关系型数据库的DDMS分类中（这里同样加入Hadoop等），云服务和新兴厂商成为了主导，微软应该是因为云SQL Server的基础而小幅领先于AWS，这2家一共占据超过50%的市场，接下来的排名是Google、Cloudera和Hortonworks（二者加起来13%）。
上面是IDC传统分类中的“非关系型数据库”，在这里IBM和CA等应该主要是针对大型机的产品，InterSystems有一款在国内医疗HIS系统中应用的Caché数据库（以前也是运行在Power小机上比较多）。我就知道这些，余下的就不瞎写了。
开源数据库 vs. 商业数据库
按照流行度来看，开源数据库从2013年到现在一直呈现增长，已经快要追上商业数据库了。
商业产品在关系型数据库的占比仍然高达60.5%，而上表中从这列往左的分类都是开源占优：
Wide Cloumn：开源占比81.8%；
时序数据库：开源占比80.7%；
文档存储：开源占比80.0%；
Key-Value存储：开源占比72.2%；
图数据库：开源占比68.4%；
搜索引擎：开源占比65.3%
按照开源License的授权模式，上面这个三角形越往下管的越宽松。比如MySQL属于GPL，在互联网行业用户较多；而PostgreSQL属于BSD授权，国内有不少数据库公司的产品就是基于Postgre哦。
数据库三大阵营：传统厂商和云服务提供商
前面在讨论市场份额时，我提到过交易型数据库的4个巨头仍然是Oracle、微软、IBM和SAP，在这里William Blair将他们归为第一阵营。
随着云平台的不断兴起，AWS、Azure和GCP（Google Cloud Platform）组成了另一个阵营，在国外分析师的眼里还没有BAT，就像有的朋友所说，国内互联网巨头更多是自身业务导向的，在本土发展公有云还有些优势，短时间内将技术输出到国外的难度应该还比较大。（当然我并不认为国内缺优秀的DBA和研发人才）
第三个阵容就是规模小一些，但比较专注的数据库玩家。
接下来我再带大家简单过一下这前两个阵容，看看具体的数据库产品都有哪些。
甲骨文的产品，我相对熟悉一些的有Oracle Database、MySQL以及Exadata一体机。
IBM DB2也是一个庞大的家族，除了传统针对小型机、x86（好像用的人不多）、z/OS大型机和for i的版本之外，如今也有了针对云和数据挖掘的产品。记得抱枕大师对Informix的技术比较推崇，可惜这个产品发展似乎不太理想。
微软除了看家的SQL Server之外，在Azure云上还能提供MySQL、PostgreSQL和MariaDB开源数据库。应该说他们是传统软件License+PaaS服务两条腿走路的。
如今人们一提起SAP的数据库就想起HANA，之前从Sybase收购来的ASE（Adaptive Server Enterprise）和IQ似乎没有之前发展好了。
在云服务提供商数据库的3巨头中，微软有SQL Server的先天优势，甚至把它移植到了Linux拥抱开源平台。关系型数据库的创新方面值得一提的是Amazon Aurora和Google Spanner（也有非关系型特性），至于它们具体好在哪里我就不装内行了：）
非关系型数据库则是Amazon全面开花，这与其云计算业务发展早并且占据优势有关。Google当年的三篇经典论文对业界影响深远，Yahoo基于此开源的Hadoop有一段时间几乎是大数据的代名词。HBase和Hive如今已不再是人们讨论的热点，而Bigtable和BigQuery似乎仍然以服务Google自身业务为主，毕竟GCP的规模比AWS要小多了。
最后这张DB-Engines的排行榜，相信许多朋友都不陌生，今年3月已经不是最新的数据，在这里列出只是给大家一个参考。该排行榜几乎在每次更新时，都会有国内数据库专家撰写点评。
以上是我周末的学习笔记，班门弄斧，希望对大家有帮助。
参考资料《Database Software Market:The Long-Awaited Shake-up》
扩展阅读：《 数据库存储：互相最想知道的事 》
尊重知识，转载时请保留全文。感谢您的阅读和支持！
重庆分公司
重庆分公司
