Add lightning import support for parquet format files exported by Sno…

…wflake (#15412) (#19420)
pingcap · Dec 30, 2024 · f91c8ba · f91c8ba
1 parent 2f3542b
commit f91c8ba
Show file tree

Hide file tree

Showing 5 changed files with 10 additions and 10 deletions.
diff --git a/ecosystem-tool-user-guide.md b/ecosystem-tool-user-guide.md
@@ -92,7 +92,7 @@ TiDB 提供了 TiUP 和 TiDB Operator 部署运维工具，满足你在不同系
 - TiDB Lightning 的输入：
     - Dumpling 输出文件
     - 其他格式兼容的 CSV 文件
-    - 从 Aurora 或者 Hive 导出的 Parquet 文件
+    - 从 Aurora、Hive 或 Snowflake 导出的 Parquet 文件
 - 适用 TiDB 版本：v2.1 及以上
 - Kubernetes 支持：[使用 TiDB Lightning 快速恢复 Kubernetes 上的 TiDB 集群数据](https://docs.pingcap.com/zh/tidb-in-kubernetes/stable/restore-data-using-tidb-lightning)
 

diff --git a/migration-tools.md b/migration-tools.md
@@ -20,12 +20,12 @@ TiDB 提供了丰富的数据迁移相关的工具，用于全量迁移、增量
 
 ## [TiDB Lightning](/tidb-lightning/tidb-lightning-overview.md)
 
-| 使用场景 | <span style="font-weight:normal">用于将数据全量导入到 TiDB</span> |
-|---|---|
-| **上游（输入源文件）** | <ul><li>Dumpling 输出的文件</li><li>从 Amazon Aurora 或 Apache Hive 导出的 Parquet 文件</li><li>CSV 文件</li><li>从本地盘或 Amazon S3 云盘读取数据</li></ul>|
-| **下游** | TiDB |
-| **主要优势** | <ul><li>支持快速导入大量数据，实现快速初始化 TiDB 集群的指定表</li><li>支持断点续传</li><li>支持数据过滤</li></ul> |
-| **使用限制** | <ul><li>如果使用[物理导入模式](/tidb-lightning/tidb-lightning-physical-import-mode.md)进行数据导入，TiDB Lightning 运行后，TiDB 集群将无法正常对外提供服务。</li><li>如果你不希望 TiDB 集群的对外服务受到影响，可以参考 TiDB Lightning [逻辑导入模式](/tidb-lightning/tidb-lightning-logical-import-mode.md)中的硬件需求与部署方式进行数据导入。</li></ul> |
+| 使用场景          | <span style="font-weight:normal">用于将数据全量导入到 TiDB</span>                                                                                                                                                                                                                   |
+|---------------|---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+| **上游（输入源文件）** | <ul><li>Dumpling 输出的文件</li><li>从 Amazon Aurora、Apache Hive 或 Snowflake 导出的 Parquet 文件</li><li>CSV 文件</li><li>从本地盘或 Amazon S3 云盘读取数据</li></ul>                                                                                                                             |
+| **下游**        | TiDB                                                                                                                                                                                                                                                                      |
+| **主要优势**      | <ul><li>支持快速导入大量数据，实现快速初始化 TiDB 集群的指定表</li><li>支持断点续传</li><li>支持数据过滤</li></ul>                                                                                                                                                                                            |
+| **使用限制**      | <ul><li>如果使用[物理导入模式](/tidb-lightning/tidb-lightning-physical-import-mode.md)进行数据导入，TiDB Lightning 运行后，TiDB 集群将无法正常对外提供服务。</li><li>如果你不希望 TiDB 集群的对外服务受到影响，可以参考 TiDB Lightning [逻辑导入模式](/tidb-lightning/tidb-lightning-logical-import-mode.md)中的硬件需求与部署方式进行数据导入。</li></ul> |
 
 ## [Dumpling](/dumpling-overview.md)
 

diff --git a/tidb-lightning/tidb-lightning-data-source.md b/tidb-lightning/tidb-lightning-data-source.md
@@ -334,7 +334,7 @@ TiDB Lightning 在处理 SQL 文件时，由于无法对单个文件进行快速
 
 ## Parquet
 
-TiDB Lightning 目前仅支持由 Amazon Aurora 或者 Hive 导出快照生成的 Parquet 文件。要识别其在 S3 的文件组织形式，需要使用如下配置匹配到所有的数据文件：
+TiDB Lightning 目前仅支持由 Amazon Aurora、Hive 或 Snowflake 导出快照生成的 Parquet 文件。要识别其在 S3 的文件组织形式，需要使用如下配置匹配到所有的数据文件：
 
 ```
 [[mydumper.files]]

diff --git a/tidb-lightning/tidb-lightning-faq.md b/tidb-lightning/tidb-lightning-faq.md
@@ -53,7 +53,7 @@ ADMIN CHECKSUM TABLE `schema`.`table`;
 
 目前，TiDB Lightning 支持：
 
-- 导入 [Dumpling](/dumpling-overview.md)、CSV 或 [Amazon Aurora Parquet](/migrate-aurora-to-tidb.md) 输出格式的数据源。
+- 导入 [Dumpling](/dumpling-overview.md)、CSV、[Amazon Aurora Parquet](/migrate-aurora-to-tidb.md)、Apache Hive Parquet、Snowflake Parquet 输出格式的数据源。
 - 从本地盘或 Amazon S3 云盘读取数据。
 
 ## 我已经在下游创建好库和表了，TiDB Lightning 可以忽略建库建表操作吗？

diff --git a/tidb-lightning/tidb-lightning-overview.md b/tidb-lightning/tidb-lightning-overview.md
@@ -15,7 +15,7 @@ TiDB Lightning 支持以下文件类型：
 
 - [Dumpling](/dumpling-overview.md) 生成的文件
 - CSV 文件
-- [Amazon Aurora 生成的 Apache Parquet 文件](/migrate-aurora-to-tidb.md)
+- [Amazon Aurora 生成的 Apache Parquet 文件](/migrate-aurora-to-tidb.md)、Apache Hive 生成的 Apache Parquet、Snowflake 生成的 Apache Parquet
 
 TiDB Lightning 支持从以下位置读取：