JSON函数

1. 建表，导?测试数据

CREATE TABLE test_json (
 id INT,
 json_string String
 )
 DUPLICATE KEY(id)
 DISTRIBUTED BY HASH(id) BUCKETS 3
 PROPERTIES("replication_num" = "1");

--测试数据
1_{"k1":"v31", "k2": 300, "a1": [{"k1":"v41", "k2": 400}, 1, "a", 3.14]}
2_{"k1":"v32", "k2": 400, "a1": [{"k1":"v41", "k2": 400}, 2, "a", 4.14],"a2":{"k3":"v33", "k4": 200,"a2": [{"k1":"v41", "k2": 400}, 2, "a", 4.14]}}
3_{"k1":"v33", "k2": 500, "a1": [{"k1":"v41", "k2": 400}, 3, "a", 5.14],"a2":{"k3":"v33", "k4": 200,"a2": [{"k5":"v42", "k6": 600}]}}
4_{"k1":"v31"}
5_{"k1":"v31", "k2": 300}
6_{"k1":"v31", "k2": 200 "a1": []}

-- json是?种??存着?对对key，value类型的结构
--针对值类型的不同：
 1.简单值："k1":"v31"
 2.数组：[{"k1":"v41", "k2": 400}, 1, "a", 3.14]
 3.对象："a2":{"k3":"v33", "k4": 200,"a2": [{"k5":"v42", "k6": 600}]}

取值的时候，指定的'$.k1'==>这样的东西我们称之为json path ，json的路劲

-- 通过本地?件的?式导?
 curl \
 -u root: \
 -H "label:load_local_file1" \
 -H "column_separator:_" \
 -T /opt/apache-doris-2.0.3-bin-x64/json.txt \
 http://cdh004:8840/api/test/test_json/_stream_load

 -- ?insert into 的?式导??条
 INSERT INTO test_json VALUES(7, '{"k1":"v1", "k2": 200}');

2. get_json_double，get_json_int，get_json_string

语法：
      DOUBLE get_json_double(VARCHAR json_str, VARCHAR json_path)
      INT get_json_int(VARCHAR json_str, VARCHAR json_path)
      VARCHAR get_json_string(VARCHAR json_str, VARCHAR json_path)
解释 :
      解析并获取 json 字符串内指定路径的浮点型内容。
      其中 json_path 必须以 $ 符号作为开头，使用 . 作为路径分割符。如果路径中包含 . ，则可以使用双引号包围。
      使用 [ ] 表示数组下标，从 0 开始。
      path 的内容不能包含 ", [ 和 ]。
      如果 json_string 格式不对，或 json_path 格式不对，或无法找到匹配项，则返回 NULL。

      另外，推荐使用jsonb类型和jsonb_extract_XXX函数实现同样的功能。

 示例 :
    --1.获取到k1对应的value的值
     mysql> select id, get_json_string(json_string,'$.k1') as k1 from test_json;
                  +------+------+
                  | id   | k1   |
                  +------+------+
                  |    2 | v32  |
                  |    4 | v31  |
                  |    5 | v31  |
                  |    6 | NULL |
                  |    1 | v31  |
                  |    3 | v33  |
                  +------+------+

		--2.获取到key 为a1 ??的数组
     mysql> select id, get_json_string(json_string,'$.a1') as arr from test_json;
                  +------+------------------------------------+
                  | id   | arr                                |
                  +------+------------------------------------+
                  |    4 | NULL                               |
                  |    5 | NULL                               |
                  |    6 | NULL                               |
                  |    1 | [{"k1":"v41","k2":400},1,"a",3.14] |
                  |    3 | [{"k1":"v41","k2":400},3,"a",5.14] |
                  |    2 | [{"k1":"v41","k2":400},2,"a",4.14] |
                  +------+------------------------------------+
    --3.获取到key 为a1 ??的数组中第?个元素的值
     mysql> select id, get_json_string(json_string,'$.a1[0]') as arr from test_json;
                  +------+-----------------------+
                  | id   | arr                   |
                  +------+-----------------------+
                  |    1 | {"k1":"v41","k2":400} |
                  |    3 | {"k1":"v41","k2":400} |
                  |    2 | {"k1":"v41","k2":400} |
                  |    4 | NULL                  |
                  |    5 | NULL                  |
                  |    6 | NULL                  |
                  +------+-----------------------+
    --4.获取到key 为a1 ??的数组中第?个元素的值（这个值是?个json串，再次获取到这个字符串
    中）
     mysql> select id, get_json_string(get_json_string(json_string,'$.a1[0]'),'$.k1') as arr from test_json;
					等价 select id, get_json_string(json_string,'$.a1[0].k1') as arr from test_json;
                  +------+------+
                  | id   | arr  |
                  +------+------+
                  |    4 | NULL |
                  |    5 | NULL |
                  |    6 | NULL |
                  |    2 | v41  |
                  |    1 | v41  |
                  |    3 | v41  |
                  +------+------+

3. json_object

语法：VARCHAR json_object(VARCHAR,...)
解释 :  生成一个包含指定Key-Value对的json object, 当Key值为NULL或者传入参数为奇数个时，返回异常错误

示例 :
MySQL> SELECT json_object('id', 87, 'name', 'carrot');
          +-----------------------------------------+
          | json_object('id', 87, 'name', 'carrot') |
          +-----------------------------------------+
          | {"id": 87, "name": "carrot"}            |
          +-----------------------------------------+

窗?函数

doris中的窗?函数和hive中的窗?函数的?法?样

漏?模型分析函数window_funnel

语法:  window_funnel(window, mode, timestamp_column, event1, event2, ... , eventN)
解释 : 
    漏斗分析函数搜索滑动时间窗口内最大的发生的最大事件序列长度。

    - window ：滑动时间窗口大小，单位为秒。
    - mode ：模式，共有四种模式
        - "default": 默认模式。
        - "deduplication": 当某个事件重复发生时，这个重复发生的事件会阻止后续的处理过程。如，指定事件链为[event1='A', event2='B', event3='C', event4='D']，原始事件链为"A-B-C-B-D"。由于B事件重复，最终的结果事件链为A-B-C，最大长度为3。
        - "fixed": 不允许事件的顺序发生交错，即事件发生的顺序必须和指定的事件链顺序一致。如，指定事件链为[event1='A', event2='B', event3='C', event4='D']，原始事件链为"A-B-D-C"，则结果事件链为A-B，最大长度为2
        - "increase": 选中的事件的时间戳必须按照指定事件链严格递增。
    - timestamp_column ：指定时间列，类型为DATETIME, 滑动窗口沿着此列工作。
    - eventN ：表示事件的布尔表达式。

    漏斗分析函数按照如下算法工作：

    - 搜索到满足满足条件的第一个事件，设置事件长度为1，此时开始滑动时间窗口计时。
    - 如果事件在时间窗口内按照指定的顺序发生，时间长度累计增加。如果事件没有按照指定的顺序发生，时间长度不增加。
    - 如果搜索到多个事件链，漏斗分析函数返回最大的长度。

示例 : 
MySQL [test]> select * from windowfunnel_test;
+------+---------------------+-------+
| xwho | xwhen               | xwhat |
+------+---------------------+-------+
| 1    | 2022-03-12 19:05:04 |     4 |
| 1    | 2022-03-12 16:15:01 |     3 |
| 1    | 2022-03-12 13:28:02 |     2 |
| 1    | 2022-03-12 10:41:00 |     1 |
| 1    | 2022-03-12 16:05:04 |     5 |
| 2    | 2022-03-12 13:28:02 |     2 |
| 2    | 2022-03-12 10:41:00 |     1 |
| 3    | 2022-03-12 16:15:01 |     3 |
+------+---------------------+-------+
MySQL [test]> select `xwho`, window_funnel(3600 * 12, 'default', t.xwhen, t.xwhat = 1, t.xwhat = 2 , t.xwhat = 3, t.xwhat = 4,t.xwhat = 5) AS level from windowfunnel_test t group by `xwho`;
+------+-------+
| xwho | level |
+------+-------+
| 1    |     4 |
| 2    |     2 |
| 3    |     0 |
+------+-------+

MySQL [test]> select `xwho`, window_funnel(3600 * 12, 'deduplication', t.xwhen, t.xwhat = 1, t.xwhat = 2 , t.xwhat = 3, t.xwhat = 4,t.xwhat = 5) AS level from windowfunnel_test t group by `xwho`;
+------+-------+
| xwho | level |
+------+-------+
| 1    |     4 |
| 2    |     2 |
| 3    |     0 |
+------+-------+
MySQL [test]> select `xwho`, window_funnel(3600 * 12, 'fixed', t.xwhen, t.xwhat = 1, t.xwhat = 2 , t.xwhat = 3, t.xwhat = 4,t.xwhat = 5) AS level from windowfunnel_test t group by `xwho`;
+------+-------+
| xwho | level |
+------+-------+
| 1    |     2 |
| 2    |     2 |
| 3    |     0 |
+------+-------+