对接HiveMetaStore，拥抱开源大数据

用户在使用本特性前，将需要创建Server，创建Server过程与已有Server创建过程相同

对于创建OBS server有两种方式，一种是通过永久AK、SK的方式创建。（此种方式前提是可以获取永久AK、SK，但是此种方式不安全，AK/SK直接暴露在配置文件中，并且创建服务的时候需要明文输入AK、SK，不建议采用此种方式创建服务）

另一种云上DWS绑定ECS委托方式访问OBS，通过管控面创建OBS server。委托通过管控面创建server可参考创建外表时如何创建OBS server。https://support.huaweicloud.com/mgtg-dws/dws_01_1602.html

创建external schema：

external schema创建语法为

CREATE External Schema ex 
WITH SOURCE hive
DATABASE 'default'
SERVER hdfs_server
METAADDRESS '10.254.159.121:9010'
CONFIGURATION '/home/fengshuo/conf2';

其中SOURCE字段指定了外部元数据存储引擎的类型，DATABASE为Hive中对应的数据库名，SERVER为步骤1中创建的server，METAADDRESS为Hive提供的地址端口信息，CONFIGURATION为Hive、Kerberos相关配置文件路径。

external schema的目标是对接外部元数据（Foreign Meta），使得DWS能主动感知外部元数据的变化，如下图所示。

GaussDB(DWS) 通过external schema 对接HiveMetaStore，映射到对应的外表元数据，再通过外表访问 Hadoop。

SQL查询：select查询形式为 select * from ex.tbl，其中tbl为外源表名，ex为已创建的external schema。

2.语法解析：语法解析层主要针对进行解析，主要负责以下内容：

当读取到ex.tbl表以后，连接HMS进行元数据查询

从HMS中读取数据，主要包括列信息，分区信息、分区键信息、分隔符信息等。

4.数据查询（针对select）：从DFS存储中获取统计信息文件个数和文件大小，为plan生成提供依据。

5.查询重写、查询优化、查询执行

6.查询下发：将元数据随plan下发给DN，DN收到plan以后，会将元数据进行解码后插入到SysCache中。

7.查询执行：DN访问obs对应文件，执行查询。

3. 与hivememtastore对接流程

3.1 准备环境

已创建 DWS 3.0集群和MRS分析集群，需确保MRS和DWS集群在同一个区域、可用区、同一VPC子网内，确保集群网络互通；

3.2 在hive端创建需要对接的表

source bigdata_env

2、登录Hive客户端。

CREATE DATABASE demo;

use demo;

DROP TABLE product_info;
 
CREATE TABLE product_info 
(    
    product_price                int            ,
    product_id                   char(30)       ,
    product_time                 date           ,
    product_level                char(10)       ,
    product_name                 varchar(200)   ,
    product_type1                varchar(20)    ,
    product_type2                char(10)       ,
    product_monthly_sales_cnt    int            ,
    product_comment_time         date           ,
    product_comment_num          int        ,
    product_comment_content      varchar(200)                   
) 
row format delimited fields terminated by ',' 
stored as orc;

3.3 创建外部服务器

使用Data Studio连接已创建好的DWS集群。

MRS端有两种支持格式，hdfs和obs。hive对接这两种场景的创建外部服务器的方式也有所不同

执行以下语句，创建OBS外部服务器。

CREATE SERVER obs_servevr FOREIGN DATA WRAPPER DFS_FDW 
OPTIONS 
(
address 'obs.xxx.com:5443',   //OBS的访问地址。
encrypt 'on',
access_key '{AK值}',
secret_access_key '{SK值}'，
 type 'obs'
);

执行以下语句，创建HDFS外部服务器。

CREATE SERVER hdfs_server FOREIGN DATA WRAPPER HDFS_FDW OPTIONS (
      TYPE 'hdfs',
      ADDRESS '{主节点},{备节点}',
      HDFSCFGPATH '{hdfs配置文件地址}');

认证用的AK和SK硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。另外，dws内部会对sk做加密处理，因此不用担心sk在传输过程中泄漏。

SELECT * FROM pg_foreign_server WHERE srvname='obs_server';

返回结果如下所示，表示已经创建成功：

srvname                      | srvowner | srvfdw | srvtype | srvversion | srvacl |                                                     srvoptions
--------------------------------------------------+----------+--------+---------+------------+--------+---------------------------------------------------------------------------------------------------------------------
 obs_server |    16476 |  14337 |         |            |        | {address=obs.xxx.com:5443,type=obs,encrypt=on,access_key=***,secret_access_key=***}
(1 row)

3.4 创建EXTERNAL SCHEMA

获取Hive的metastore服务内网IP和端口以及要访问的Hive端数据库名称。

登录MRS管理控制台。

选择“集群列表 > 现有集群”，单击要查看的集群名称，进入集群基本信息页面。

单击运维管理处的“前往manager”，并输入用户名和密码登录FI管理页面。

依次单击“集群”、“Hive”、“配置”、“全部配置”、“MetaStore”、“端口”，记录参数hive.metastore.port对应的值。

依次单击“集群”、“Hive”、“实例”，记录MetaStore对应主机名称包含master1的管理IP。

创建EXTERNAL SCHEMA

//Hive对接OBS场景:SERVER名字填写2创建的外部服务器名称，DATABASE填写Hive端创建的数据库，METAADDRESS填写1中记录的hive端metastore服务的地址和端口，CONFIGURATION为MRS数据源默认的配置路径，不需更改。
DROP SCHEMA IF EXISTS ex1;
 
CREATE EXTERNAL SCHEMA ex1
    WITH SOURCE hive
         DATABASE 'demo'
         SERVER obs_server
         METAADDRESS '***.***.***.***:***'
         CONFIGURATION '/MRS/gaussdb/mrs_server'
 
//Hive对接HDFS场景：SERVER名字填写创建MRS数据源连接创建的数据源名称mrs_server，METAADDRESS填写1中记录的hive端metastore服务的地址和端口，CONFIGURATION为MRS数据源默认的配置路径，不需更改。
DROP SCHEMA IF EXISTS ex1;
 
CREATE EXTERNAL SCHEMA ex1
    WITH SOURCE hive
         DATABASE 'demo'
         SERVER mrs_server
         METAADDRESS '***.***.***.***:***'
         CONFIGURATION '/MRS/gaussdb/mrs_server'

查看创建的EXTERNAL SCHEMA

SELECT * FROM pg_namespace WHERE nspname='ex1';
SELECT * FROM pg_external_namespace WHERE nspid = (SELECT oid FROM pg_namespace WHERE nspname = 'ex1');
                     nspid                     | srvname | source | address | database | confpath |                                                     ensoptions   | catalog
--------------------------------------------------+----------+--------+---------+------------+--------+---------------------------------------------------------------------------------------------------------------------
                  16393                        |    obs_server |  hive | ***.***.***.***:***        |  demo          | ***       |                         |
(1 row)

3.5 执行数据导入hive表

DROP TABLE IF EXISTS product_info_export;
CREATE TABLE product_info_export
(
    product_price                integer        ,
    product_id                   char(30)       ,
    product_time                 date           ,
    product_level                char(10)       ,
    product_name                 varchar(200)   ,
    product_type1                varchar(20)    ,
    product_type2                char(10)       ,
    product_monthly_sales_cnt    integer        ,
    product_comment_time         date           ,
    product_comment_num          integer        ,
    product_comment_content      varchar(200)                   
) ;

导入数据

从本地源表导入Hive表。

INSERT INTO ex1.product_info SELECT * FROM product_info_export;

3.6 执行数据从hive导入dws表

导入数据

从本地源表导入Hive表。

INSERT INTO product_info_orc_export SELECT * FROM ex1.product_info;

4 总结

本文主要对GaussDB(DWS)对接hiveMetaStore的原理和方式做了阐述。

点击关注，第一时间了解华为云新鲜技术~