SparkSQL  HiveSQL  常用正则表达式

目录

                                                              SparkSQL  HiveSQL  常用正则表达式

1、匹配汉字：

2、匹配手机号码

3、匹配身份证：

4、SparkSQL HiveSQL 常用正则函数：

5、SparkSQL  分组 聚合 函数：

6、SparkSQL 随机数：

7、SparkSQL  逻辑运算符

8、SparkSQL REGEXP_SUBSTR 函数格式如下：

9、regexp_replace(1,2,3,4,5,6)

---

1、匹配汉字：

正则表达式：regexp '^[\\u4e00-\\u9fa5]';    --开头是汉字

正则表达式：regexp '[^\\u4e00-\\u9fa5]+';   --不包含汉字

正则表达式：regexp '[\\u4e00-\\u9fa5]';     --含有汉字

2、匹配手机号码

正则表达式：regexp ‘^1([3578][0-9]|4[579]|66|7[0135678]|9[89])[0-9]{8}$’

3、匹配身份证：

正则表达式:
十八位: '^[1-9]\d{5}(18|19|([23]\d))\d{2}((0[1-9])|(10|11|12))(([0-2][1-9])|10|20|30|31)\d{3}[0-9Xx]$'
十五位: ' ^[1-9]\d{5}\d{2}((0[1-9])|(10|11|12))(([0-2][1-9])|10|20|30|31)\d{2}$'

4、SparkSQL HiveSQL 常用正则函数：

regexp_extract  正则提取某些字符串,

regexp_replace 正则替换

5、SparkSQL  分组 聚合 函数：

select name, collect_set(course) as course_set from T_course group by name
select col1,col2,concat_ws( ' , ' , collect_set ( col3 )  )  from  tablename  group by col1 , col2;

6、SparkSQL 随机数：

SELECT md5(RAND() + new.id);
-- 生成 3 位的随机数
SELECT CEILING(RAND()*900+100);
-- 生成 4 位的随机数
SELECT CEILING(RAND()*9000+1000);
-- 生成 5 位的随机数
SELECT CEILING(RAND()*90000+10000);

7、SparkSQL  逻辑运算符

非（NOT 或 !）：
mysql> SELECT NOT 0,NOT 1,NOT NULL;
mysql> SELECT !0, !1, !NULL;

与（AND 或 &&）：
mysql> SELECT (1 AND 1), (0 AND 1), (3 AND 1), (1 AND NULL);
mysql> SELECT (1 && 1), (0 && 1), (3 && 1), (1 && NULL);

或（OR或 ||）：
mysql> SELECT (1 OR 0), (0 OR 0), (1 OR NULL), (1 OR 1), (NULL OR NULL);
mysql> SELECT (1 || 0), (0 || 0), (1 || NULL), (1 || 1), (NULL || NULL);

异或（XOR 或 ^）：
mysql> SELECT (1 XOR 1), (0 XOR 0), (1 XOR 0), (0 XOR 1), (NULL XOR 1);
mysql> SELECT (1 ^ 1), (0 ^ 0), (1 ^ 0), (0 ^ 1), (NULL ^ 1);

8、SparkSQL REGEXP_SUBSTR 函数格式如下：

function REGEXP_SUBSTR(String, pattern, position, occurrence, modifier)
__srcstr     ：需要进行正则处理的字符串
__pattern    ：进行匹配的正则表达式
__position   ：起始位置，从第几个字符开始正则表达式匹配（默认为1）
__occurrence ：标识第几个匹配组，默认为1
__modifier   ：模式（'i'不区分大小写进行检索；'c'区分大小写进行检索。默认为'c'。

9、regexp_replace(1,2,3,4,5,6)

语法说明：

1：字段String  

2：替换的字段 正则表达式  

3：替换成什么  

4：起始位置（默认从1开始）  

5：替换的次数（0是无限次）  
6：不区分大小写 i：大小写不敏感；c：大小写敏感；n：点号 . 不匹配换行符号；m：多行模式；x：扩展模式，忽略正则表达式中的空白字符。