Merge pull request #234 from NigelWu95/dev

Dev

Author: 吴炳亨

docs/data_migration.md

@@ -100,9 +100,11 @@ asyncfetch 操作支持回调等参数，具体使用参考：[asyncfetch 配置
 ### 保存任务结果
 资源列举结果（云存储文件列表）和异步抓取提交的记录可以保存在自定义的本地目录中，其中资源列举结果可以按照自定义格式来保存，参考：[持久化配置](resultsave.md)  
 
-### 迁移结果查询
-由于采用的是异步抓取方式，执行任务后只能保存提交任务的状态，数据迁移状态有两种方式可以知晓：  
-1、设置了抓取结果的回调，七牛会对抓取任务的结果进行回调到设置的服务器，如果回调地址异常则无效。  
-2、通过再查询的方式才能获取，可根据七牛存储的 stat 接口来查询每个文件的状态从而确认具体文件的迁移结果，本工具提供对应的操作方式，可参考：[stat 配置](stat.md)，
-如果迁移过程中保存了列举资源的文件列表，则 stat 操作的数据源可直接配置成文件列表所在目录，不需要再次从原数据空间列举（列举操作比较耗时，建议每次从数
-据源列举资源列表时都保存到本地）  
+### 迁移结果校验
+由于采用的是异步抓取方式，执行任务后只能保存提交任务的状态，数据迁移结果需要进行校验，在迁移过程中，建议设置 save-total=true（或者不设置默认为 
+true），此时会保留从数据源得到的完整列表数据，可统计文件数量和核对文件名，如果文件数量与迁移到空间中的文件数量一致，说明都迁移成功，如果迁移到空间中
+的文件数量小于该次从数据源导出的文件数量，则需要进行进一步校验，确认哪些文件迁移失败，校验有两种方式：  
+1、设置了抓取结果的回调，七牛会将抓取任务的结果回调到设置的服务器（callback-url），如果回调地址异常则会回调失败。  
+2、根据数据源的文件名查询七牛存储文件状态，即用七牛存储的 stat 接口来查询每个文件的存储信息从而确认具体文件的迁移结果，本工具提供对应的操作方式，可
+参考：[stat 配置](stat.md)，如果迁移过程中保存了列举资源的文件列表，则 stat 操作的数据源可直接配置成文件列表所在目录，不需要再次从原数据空间列举
+（列举操作比较耗时，建议每次从数据源列举资源列表时都保存到本地）  

pom.xml

@@ -6,7 +6,7 @@
 
     <groupId>com.qiniu</groupId>
     <artifactId>qsuits</artifactId>
-    <version>7.2</version>
+    <version>7.3</version>
     <name>qsuits</name>
     <description>qiniu-suits is a efficient tools for qiniu api implemented by java8.</description>
     <url>https://github.com/NigelWu95/qiniu-suits-java</url>

src/main/java/com/qiniu/convert/Converter.java

@@ -21,7 +21,7 @@ public List<T> convertToVList(List<E> lineList) {
                 try {
                     mapList.add(convertToV(line));
                 } catch (Exception e) {
-                    errorList.add(JsonUtils.toJson(line) + "\tcvterr " + e.getMessage());
+                    errorList.add(JsonUtils.toJson(line) + "\tconvert error " + e.getMessage());
                 }
             }
         }

src/main/java/com/qiniu/process/filtration/BaseFilter.java

@@ -1,5 +1,7 @@
 package com.qiniu.process.filtration;
 
+import com.qiniu.util.ConvertingUtils;
+
 import java.io.IOException;
 import java.time.LocalDateTime;
 import java.util.List;
@@ -111,7 +113,7 @@ public boolean filterKey(T item) {
     public boolean filterMimeType(T item) {
         try {
             if (item == null) return false;
-            String mType = valueFrom(item, "mime");
+            String mType = valueFrom(item, ConvertingUtils.defaultMimeField);
             boolean result = false;
             if (checkList(mimeType)) {
                 result = mimeType.stream().anyMatch(mType::contains);
@@ -127,7 +129,7 @@ public boolean filterMimeType(T item) {
     public boolean filterDatetime(T item) {
         try {
             if (item == null) return false;
-            LocalDateTime localDateTime = LocalDateTime.parse(valueFrom(item, "datetime"));
+            LocalDateTime localDateTime = LocalDateTime.parse(valueFrom(item, ConvertingUtils.defaultDatetimeField));
             return localDateTime.compareTo(datetimeMax) <= 0 && localDateTime.compareTo(datetimeMin) >= 0;
         } catch (Exception e) {
             return true;
@@ -137,7 +139,7 @@ public boolean filterDatetime(T item) {
     public boolean filterType(T item) {
         try {
             if (item == null) return false;
-            return valueFrom(item, "type").equals(type);
+            return valueFrom(item, ConvertingUtils.defaultTypeField).equals(type);
         } catch (NullPointerException e) {
             return true;
         }
@@ -146,7 +148,7 @@ public boolean filterType(T item) {
     public boolean filterStatus(T item) {
         try {
             if (item == null) return false;
-            return valueFrom(item, "status").equals(status);
+            return valueFrom(item, ConvertingUtils.defaultStatusField).equals(status);
         } catch (NullPointerException e) {
             return true;
         }

src/main/java/com/qiniu/process/filtration/SeniorFilter.java

@@ -5,6 +5,7 @@
 import com.google.gson.JsonObject;
 import com.google.gson.reflect.TypeToken;
 import com.qiniu.config.JsonFile;
+import com.qiniu.util.ConvertingUtils;
 import com.qiniu.util.JsonUtils;
 
 import java.io.IOException;
@@ -59,7 +60,8 @@ public List<T> checkMimeType(List<T> lineList) {
                 if (line == null) continue;
                 key = valueFrom(line, "key");
                 if (key.contains(".")) {
-                    String finalKeyMimePair = key.substring(key.lastIndexOf(".") + 1) + ":" + valueFrom(line, "mime");
+                    String finalKeyMimePair = key.substring(key.lastIndexOf(".") + 1) + ":" +
+                            valueFrom(line, ConvertingUtils.defaultMimeField);
                     if (extMimeList.parallelStream().anyMatch(extMime ->
                             finalKeyMimePair.split("/")[0].equalsIgnoreCase(extMime))) {
                         continue;
@@ -83,7 +85,8 @@ public boolean checkMimeType(T line) {
         try {
             key = valueFrom(line, "key");
             if (key.contains(".")) {
-                String finalKeyMimePair = key.substring(key.lastIndexOf(".") + 1) + ":" + valueFrom(line, "mime");
+                String finalKeyMimePair = key.substring(key.lastIndexOf(".") + 1) + ":" +
+                        valueFrom(line, ConvertingUtils.defaultMimeField);
                 if (extMimeList.parallelStream().anyMatch(extMime ->
                         finalKeyMimePair.split("/")[0].equalsIgnoreCase(extMime))) {
                     return false;

src/main/java/com/qiniu/util/CloudAPIUtils.java

@@ -239,13 +239,13 @@ public static void checkQiniu(Auth auth) throws QiniuException {
     }
 
     public static void checkQiniu(BucketManager bucketManager, String bucket) throws QiniuException {
-        bucketManager.listFilesV2(bucket, null, null, 1, null);
+        bucketManager.listV2(bucket, null, null, 1, null);
     }
 
     public static void checkQiniu(String accessKey, String secretKey, Configuration configuration, String bucket)
             throws QiniuException {
         BucketManager bucketManager = new BucketManager(Auth.create(accessKey, secretKey), configuration);
-        bucketManager.listFilesV2(bucket, null, null, 1, null);
+        bucketManager.listV2(bucket, null, null, 1, null);
         bucketManager = null;
     }
 

src/main/java/com/qiniu/util/ConvertingUtils.java

@@ -275,7 +275,7 @@ public static <T> T toPair(JsonObject json, Map<String, String> indexMap, KeyVal
         for (String index : indexMap.keySet()) {
             jsonElement = json.get(index);
             if (jsonElement == null || jsonElement instanceof JsonNull) {
-                throw new IOException("the index: " + index + " can't be found in " + json);
+                if (!allFieldsSet.contains(index)) throw new IOException("the index: " + index + " can't be found in " + json);
             } else {
                 pair.put(indexMap.get(index), JsonUtils.toString(jsonElement));
             }
@@ -314,7 +314,7 @@ public static <T> T toPair(Map<String, String> line, List<String> fields, KeyVal
                 else if (intFields.contains(field)) pair.put(field, Integer.valueOf(value));
                 else pair.put(field, value);
             } else {
-                throw new IOException("the field: " + field + " can't be found in " + line);
+                if (!allFieldsSet.contains(field)) throw new IOException("the field: " + field + " can't be found in " + line);
             }
         }
         if (pair.size() == 0) throw new IOException("empty result string.");