这期内容当中小编将会给大家带来有关大数据中如何分析语言DolphinDB脚本语言，文章内容丰富且以专业的角度为大家分析和叙述，阅读完这篇文章希望大家可以有所收获。
创新互联是一家专注于网站设计、网站制作与策划设计,天柱网站建设哪家好?创新互联做网站,专注于网站建设10余年,网设计领域的专业建站公司;建站业务涵盖:天柱等地区。天柱做网站价格咨询:028-86922220
开发大数据应用，不仅需要能支撑海量数据的分布式数据库，能高效利用多核多节点的分布式计算框架，更需要一门能与分布式数据库和分布式计算有机融合、高性能易扩展、表达能力强、满足快速开发和建模需要的编程语言。DolphinDB从流行的Python和SQL语言汲取了灵感，设计了大数据处理脚本语言。
提到数据库语言，我们很容易想到标准的SQL语言。不同于标准的SQL，DolphinDB编程语言功能齐全，表达能力非常强大，完美支持命令式编程、向量化编程、函数话编程、SQL编程、远程过程调用编程（RPC）和元编程等多种编程范式。DolphinDB编程语言的语法和表达习惯与Python和SQL非常相似，只要对Python和SQL有一定的了解，就能轻松掌握。相对而言，掌握内存时序数据库kdb+的q语言难度要大得多。
DolphinDB的编程语言能够满足数据科学家快速开发和建模的需求。DolphinDB语言简洁灵活，表达能力强，大大提高了数据科学家的开发效率。DolphinDB支持向量化计算和分布式计算，具有极快的运行速度。下面将详细介绍DolphinDB编程语言的独特之处。
1.命令式编程
与主流的脚本语言Python、JS等，还有强类型语言C、C++、Java等一样，DolphinDB也支持命令式编程。命令式编程是指通过执行一条一条的语句，实现最终目标。DolphinDB的命令式编程主要是用作上层模块的处理和调度。在大数据分析中，由于需要处理的数据量非常庞大，如果我们采用命令式编程逐行处理数据，效率会十分低下，性能也会有所下降。因此，我们推荐在DolphinDB中使用其他编程方式来批量处理数据。
//DolphinDB支持对单变量和多变量进行赋值 x = 1 2 3 y = 4 5 y += 2 x, y = y, x //swap the value of x and y x, y =1 2 3, 4 5 // 1到100累加求和 s = 0 for(x in 1:101) s += x print s //数组中的元素求和 s = 0; for(x in 1 3 5 9 15) s += x print s //打印矩阵每一列的均值 m = matrix(1 2 3, 4 5 6, 7 8 9) for(c in m) print c.avg() //计算product表中每一个产品的销售额 t= table(["TV set", "Phone", "PC"] as productId, 1200 600 800 as price, 10 20 7 as qty) for(row in t) print row.productId + ": " + row.price * row.qty
2.向量化编程
跟matlab、R等编程语言一样，DolphinDB也支持向量化编程。前面提到的kdb+数据库的q语言也是向量处理语言，它在复杂的计算上表现出很好的性能，并且效率很高。DolphinDB的编程语言对很多算法都进行了优化，比如对时间序列数据计算滑动窗口指标，大大提高了向量函数的效率。
//两个长度为1000万的向量相加，采用向量化编程比命令式编程的for语句更加简洁，耗耗时更短。 n = 10000000 a = rand(1.0, n) b = rand(1.0, n) //采用for语句编程，需要12秒 c = array(DOUBLE, n) for(i in 0 : n) c[i] = a[i] + b[i] Time elapsed: 12341.043 ms //采用向量化编程，仅需36毫秒 c = a + b Time elapsed: 36.901 ms
向量化编程通常是把整个向量加载到连续内存中。有时候因为内存碎片，没有找到连续内存，向量就不可用了。DolphinDB针对这个问题，特意提供了big array数据类型。big array可以把物理上不连续的内存块组成逻辑上连续的向量，即使是非常大的向量，也能在DolphinDB中使用，提高了系统的可用性。
3.函数化编程
DolphinDB支持函数化编程的大部分功能，包括纯函数、自定义函数、λ函数、高阶函数、部分应用和闭包。DolphinDB内置了400多个函数，涵盖了各种数据类型、数据结构和系统调用。
DolphinDB的纯函数特性减少了函数的副作用。在自定义函数时，DolphinDB不能使用函数体外定义的变量。纯函数特性可以大幅度提高代码可读性和软件质量。
3.1 自定义函数
重庆分公司
重庆分公司
//定义一个函数返回工作日
def getWorkDays(dates){
return dates[def(x):weekday(x) between 1:5]
}
getWorkDays(2018.07.01 2018.08.01 2018.09.01 2018.10.01)
[2018.08.01, 2018.10.01]上面的例子定义一个函数getWorkDays，该函数受一组日期，返回并返回在周一和周五之间的日期。函数的实现采用了向量的过滤功能，也就是接受一个布尔型单目函数用于数据的过滤。
3.2 高阶函数
下面的一个例子我们使用三个高阶函数pivot、each和cross，干净利落的用三行代码，根据股票日内tick级别的报价数据，计算出两两之间的相关性。
//模拟生成10000000万个数据点（股票代码，交易时间和价格） n=10000000 syms = rand(`FB`GOOG`MSFT`AMZN`IBM, n) time = 09:30:00.000 + rand(21600000, n) price = 500.0 + rand(500.0, n) //利用pivot函数生成透视表 priceMatrix = pivot(avg, price, time.minute(), syms) //each和ratios函数的配合使用，为每个股票（矩阵的列）生成每分钟的回报序列 retMatrix = each(ratios, priceMatrix) - 1 //cross和corr函数的配合使用，计算股票两两之间的相关性 corrMatrix = cross(corr, retMatrix, retMatrix) AMZN FB GOOG IBM MSFT --------- --------- --------- --------- --------- AMZN|1 0.015181 -0.056245 0.005822 0.084104 FB |0.015181 1 -0.028113 0.034159 -0.117279 GOOG|-0.056245 -0.028113 1 -0.039278 -0.025165 IBM |0.005822 0.034159 -0.039278 1 -0.049922 MSFT|0.084104 -0.117279 -0.025165 -0.049922 1
3.3 部分应用
高阶函数中的函数参数通常对参数有限制，通过部分应用，可以确保参数符合要求。例如，给定一个向量 a = 12 14 18，计算与矩阵中的每一列的相关性。因为要计算矩阵的每一列的相关性，当然可以使用高阶函数each。但是corr函数需要两个参数，而矩阵只提供其中的一个参数，另一个参数必须事先给定，所以部分应用可以解决这个问题。当然我们也可以用for语句来解决这个问题，但代码冗长而低效。
a = 12 14 18
m = matrix(5 6 7, 1 3 2, 8 7 11)
//使用each和部分应用计算矩阵中的每一列与给定向量a的相关性
each(corr{a}, m)
//使用for语句解决上面的问题
cols = m.columns()
c = array(DOUBLE, cols)
for(i in 0:cols)
c[i] = corr(a, m[i])部分应用的另一个作用是使函数保持状态。例如，在流计算中，用户通常需要给定一个消息处理函数（message handler），接受一条新的信息，返回一个结果。但是我们希望消息处理函数返回的是迄今为止所有数的平均数。这个问题我们可以通过部分应用来解决。
def cumavg(mutable stat, newNum){
stat[0] = (stat[0] * stat[1] + newNum)/(stat[1] + 1)
stat[1] += 1
return stat[0]
}
msgHandler = cumavg{0.0 0.0}
each(msgHandler, 1 2 3 4 5)
[1,1.5,2,2.5,3]4.SQL编程
DolphinDB的编程语言不仅支持标准的SQL，还针对时间序列数据扩展了SQL的功能，如分组计算（context by）、数据透视（pivot by）、窗口函数、asof连接和窗口连接等，更便于分析时间序列数据。单纯的SQL引擎表达能力有限，很难满足更加复杂的数据分析和算法实现，影响开发效率。在DolphinDB中，脚本语言与SQL语言是完全融合在一起的。
4.1 SQL与编程语言融合
//生成一个员工工资表 emp_wage = table(take(1..10, 100) as id, take(2017.10M + 1..10, 100).sort() as month, take(5000 5500 6000 6500, 100) as wage) //计算给定的一组员工的平均工资。员工列表存储在一个本地变量empIds中 empIds = 3 4 6 7 9 select avg(wage) from emp_wage where id in empIds group by id id avg_wage -- -------- 3 5500 4 6000 6 6000 7 5500 9 5500 //除计算平均工资外，同时显示员工的姓名。员工姓名使用一个字典empName来获取。 empName = dict(1..10, `Alice`Bob`Jerry`Jessica`Mike`Tim`Henry`Anna`Kevin`Jones) select empName[first(id)] as name, avg(wage) from emp_wage where id in empIds group by id id name avg_wage -- ------- -------- 3 Jerry 5500 4 Jessica 6000 6 Tim 6000 7 Henry 5500 9 Kevin 5500
上面的例子，SQL语句的where子句和select子句分别用到了上下文中定义的数组和字典，使得本来需要通过子查询和多表联结来解决的问题，通过简单的hash table解决了。如果SQL涉及到分布式数据库，这些上下文变量会自动序列化到需要的节点。这不仅让代码看上去更简洁，有更好的可读性，而且提升了性能。在大数据分析中，很多数据表关联，即使SQL优化器做了很多优化，也难免带来性能问题。
4.2 context by——对面板数据的友好支持
DolphinDB提供了类似其他数据库系统的window function——context by。但是与window function相比，context by的语法更简洁，并且没有那么多限制，可以与select或update一起使用。
//按股票代码进行分组，计算每个股票每天的回报。假设数据是时间顺序排列的。 update trades set ret = ratios(price) - 1.0 context by sym //按日期进行分组，计算每天每个股票的ret降序排名。 select date, symbol, ret, rank(ret, false) + 1 as rank from trades where isValid(ret) context by date //选择每天ret排名前10的股票 select date, symbol, ret from trades where isValid(ret) context by date having rank(ret, false) < 10
4.3 asof join和window join——对时序数据的友好支持
t1 = table(09:30m 09:31m 09:33m 09:34m as minute, 29.2 28.9 29.3 30.1 as price) t2 = table(09:30m 09:31m 09:34m 09:36m as minute, 51.2 52.4 51.9 52.8 as price) select * from aj(t1, t2, `minute) minute price t2_minute t2_price ------ ----- --------- -------- 09:30m 29.2 09:30m 51.2 09:31m 28.9 09:31m 52.4 09:33m 29.3 09:31m 52.4 09:34m 30.1 09:34m 51.9
上面的例子中，t2中没有与09:33m、09:34m对应的记录，asof join（aj）会分别取t2中在09:33m、09:34m之前最近时间对应的记录，即取t2中09:31m的记录。
