86
数据仓库是企业数据分析和商业智能的基础,随着数据规模和复杂度的不断增加,传统的数据仓库管理面临着诸多挑战。阿里云 AnalyticDB for PostgreSQL (ADB PG)作为基于PostgreSQL内核的MPP架构的实时数据仓库服务,为企业提供了一种高性能、高可靠的数据仓库迁移与建设的解决方案。本文将重点介绍如何将现有的数据仓库迁移到ADB PG平台。
ADB PG 最新版本6.0基于PostgreSQL 9.4构建,而AWS Redshift基于PostgreSQL 8.2,相比之下ADB PG的功能更加全面,且与PostgreSQL生态的工具如PostGIS、MADlib等更加兼容。在存储方式上,Redshift只支持列存表,而ADB PG即支持行存表也支持列存表,满足不同应用场景的需求。
ADB PG和Redshift两个数据仓库平台在SQL语法上高度兼容,但也存在一些差异,主要体现在DDL建表语法上。下面给出了一些转换示例供参考:
DDL转换示例1:
```
CREATE TABLE schema1.table1(
filed1 VARCHAR(100) ENCODE lzo,
filed2 INTEGER DISTKEY,
filed3 INTEGER,
filed4 BIGINT ENCODE lzo,
filed5 INTEGER,)
INTERLEAVED SORTKEY (
filed1,
filed2);
CREATE TABLE schema1.table1
(
filed1 VARCHAR(100) ,
filed3 INTEGER,
filed5 INTEGER
)
WITH(APPENDONLY=true,ORIENTATION=column,COMPRESSTYPE=zlib)
DISTRIBUTED BY (filed2)
SORTKEY
(
filed1,
filed2
)
```
DDL转换示例2:
```
CREATE TABLE schema2.table2
(
filed1 VARCHAR(50) ENCODE lzo,
filed2 VARCHAR(50) ENCODE lzo,
filed3 VARCHAR(20) ENCODE lzo,
)
DISTSTYLE EVEN
INTERLEAVED SORTKEY
(
filed1
);
CREATE TABLE schema2.table2(
filed1 VARCHAR(50),
filed2 VARCHAR(50),
filed3 VARCHAR(20))
WITH(APPENDONLY=true, ORIENTATION=column, COMPRESSTYPE=zlib)
DISTRIBUTED randomly
SORTKEY
(
filed1
);
```
Redshift和ADB PG均支持从云存储的高并行数据导入和导出,从Redshift迁移数据到AnalyticDB for PostgreSQL的具体步骤如下:
1. 准备好Amazon Redshift、Amazon S3、AnalyticDB for PostgreSQL和阿里云OSS等相关资源。
2. 将Redshift的数据导出到Amazon S3。
3. 使用OSSImport将Amazon S3中的CSV格式数据文件导入到OSS。
4. 在目标ADB PG中创建与源Redshift对应的对象,包括模式、表、视图和函数等。
5. 使用OSS外部表将数据导入到ADB PG。
整体的迁移路径如下图所示:
通过上述步骤,您就可以将现有的数据仓库smoothly迁移到阿里云AnalyticDB for PostgreSQL平台上,享受到其高性能、高可靠的数据分析服务。
