Merge pull request #289 from NigelWu95/dev

Dev

Author: gawen957

.gitignore

@@ -26,4 +26,4 @@ resources/.*
 assembly/
 .DS_Store
 
-logs/
+logs*

Makefile

@@ -0,0 +1,21 @@
+version=8.3.12
+
+package_no_test:
+	mvn package -Dmaven.test.skip=true
+
+deploy_no_test:
+	mvn clean deploy -P release -Dmaven.test.skip=true
+
+release_jar_to_devtools:
+	qsuits -s -path=target/qsuits-$(version)-jar-with-dependencies.jar -process=qupload -a=devtools -bucket=devtools -keep-path=false
+
+clean_logs:
+	rm -rf logs*
+
+clean:
+	mvn clean
+
+build:
+	mvn package -Dmaven.test.skip=true
+	[ -d ~/.qsuits ] || mkdir ~/.qsuits
+	cp target/qsuits-$(version)-jar-with-dependencies.jar ~/.qsuits/qsuits-$(version).jar

README.md

@@ -137,8 +137,8 @@ qsuits -config=config.txt
 ```
 qsuits -path=qiniu://<bucket> -ak=<ak> -sk=<sk>
 ```   
-**注意**：qsuits 执行器依然依赖 java 环境（8 或以上），但是执行器会去检测本地 java 环境，在无匹配的 java 环境时会提示推荐的安装方法。并且该执行
-器在运行时默认会选择最新的 qsuits-java 版本，其他选项参考 qsuits-exec-go 的文档：https://github.com/NigelWu95/qsuits-exec-go  
+**注意**：qsuits 执行器依然依赖 java 环境（8 或以上），但是执行器会去检测本地 java 环境，在无匹配的 java 环境时会提示推荐的安装方法，并且该执行
+器可以选择更新到 qsuits.jar 的最新版本再运行，其他选项参考 qsuits-exec-go 的文档：https://github.com/NigelWu95/qsuits-exec-go  
 
 #### 程序依赖 jar  
 引入 jar 包（[下载 jar 包](https://search.maven.org/search?q=a:qsuits)或者 [使用 maven 仓库](https://mvnrepository.com/artifact/com.qiniu/qsuits)），
@@ -315,9 +315,8 @@ rm-fields=
 #### 关于 save-total  
 （1）用于选择是否直接保存数据源完整输出结果，针对存在过滤条件或下一步处理过程时是否需要保存原始数据，如 bucket 的 list 操作需要在列举出结果之后再针
     对字段进行过滤或者做删除，save-total=true 则表示保存列举出来的完整数据，而过滤的结果会单独保存，如果只需要过滤之后的数据，则设置为 false，如
-    果是删除等操作，通常删除结果会直接保存文件名和删除结果，原始数据也不需要保存。  
-（1）本地文件数据源时默认如果存在 process 或者 filter 则设置 save-total=false，反之则设置 save-total=true（说明可能是单纯格式转换）。  
-（2）云存储数据源时默认设置 save-total=true。  
+    果是删除等操作，通常删除结果会直接保存文件名和删除结果，原始数据也不需要保存则设置 save-total=false。  
+（2）如果存在 process 或者 filter 则默认设置 save-total=false，反之则 save-total=true（说明可能是单纯列举云存储资源或者本地数据格式转换）。  
 （3）保存结果的路径 **默认（save-path）使用 <bucket\>（云存储数据源情况下）名称或者 <path\>-result 来创建目录**。  
 
 #### 关于 save-format  

docs/resultsave.md

@@ -22,9 +22,8 @@ rm-fields=
 ### 关于 save-total  
 （1）用于选择是否直接保存数据源完整输出结果，针对存在过滤条件或下一步处理过程时是否需要保存原始数据，如 bucket 的 list 操作需要在列举出结果之后再针
     对字段进行过滤或者做删除，save-total=true 则表示保存列举出来的完整数据，而过滤的结果会单独保存，如果只需要过滤之后的数据，则设置为 false，如
-    果是删除等操作，通常删除结果会直接保存文件名和删除结果，原始数据也不需要保存。  
-（1）本地文件数据源时默认如果存在 process 或者 filter 则设置 save-total=false，反之则设置 save-total=true（说明可能是单纯格式转换）。  
-（2）云存储数据源时默认设置 save-total=true。  
+    果是删除等操作，通常删除结果会直接保存文件名和删除结果，原始数据也不需要保存则设置 save-total=false。  
+（2）如果存在 process 或者 filter 则默认设置 save-total=false，反之则 save-total=true（说明可能是单纯列举云存储资源或者本地数据格式转换）。  
 （3）保存结果的路径 **默认（save-path）使用 <bucket\>（云存储数据源情况下）名称或者 <path\>-result 来创建目录**。  
 
 ### 关于 save-format  

pom.xml

@@ -6,7 +6,7 @@
 
     <groupId>com.qiniu</groupId>
     <artifactId>qsuits</artifactId>
-    <version>8.3.11</version>
+    <version>8.3.12</version>
     <name>qsuits</name>
     <description>qiniu-suits is a efficient tools for qiniu api implemented by java8.</description>
     <url>https://github.com/NigelWu95/qiniu-suits-java</url>

src/main/java/com/qiniu/datasource/FileContainer.java

@@ -559,7 +559,7 @@ private void directoriesListing() throws Exception {
     @Override
     public void export() throws Exception {
         String info = processor == null ? String.join(" ", "list files from path:", path) :
-                String.join(" ", "read files from path: ", path, "and", processor.getProcessName());
+                String.join(" ", "read files from path:", path, "and", processor.getProcessName());
         rootLogger.info("{} running...", info);
         rootLogger.info("order\tprefix\tquantity");
         showdownHook();

src/main/java/com/qiniu/entry/CommonParams.java

@@ -239,9 +239,9 @@ public CommonParams(Map<String, String> paramsMap) throws Exception {
             case "copy":
             case "move":
             case "rename":
-                if (!fromLine) mapLine.put("key", entryParam.getValue("key", ""));
+                if (!fromLine) mapLine.put("key", entryParam.getValue("key", entryParam.getParamsMap().containsKey("key") ? "" : null));
                 indexMap.put("toKey", "toKey");
-                mapLine.put("toKey", entryParam.getValue("to-key", ""));
+                mapLine.put("toKey", entryParam.getValue("to-key", entryParam.getParamsMap().containsKey("to-key") ? "" : null));
                 break;
             case "download":
             case "fetch":
@@ -305,13 +305,13 @@ public CommonParams(Map<String, String> paramsMap) throws Exception {
                 setSaveSeparator();
                 break;
             case "qupload":
-                String key = entryParam.getValue("key", "");
+                String key = entryParam.getValue("key", entryParam.getParamsMap().containsKey("key") ? "" : null);
                 if (!fromLine) mapLine.put("key", key);
-                String filepath = entryParam.getValue("filepath", "");
+                String filepath = entryParam.getValue("filepath", entryParam.getValue("path", ""));
                 if (!"".equals(filepath)) {
                     indexMap.put("filepath", "filepath");
                     mapLine.put("filepath", filepath);
-                } else if ("".equals(key)) {
+                } else if (key == null || "".equals(key)) {
                     throw new IOException("filepath and key shouldn't all be empty, file must be found with them.");
                 }
                 break;
@@ -1218,29 +1218,35 @@ private void setRetryTimes() throws IOException {
     private void setSaveTotal() throws IOException {
         String saveTotal = entryParam.getValue("save-total", "").trim();
         if ("".equals(saveTotal)) {
-            if (isStorageSource) {
-                saveTotal = "true";
-//（2）云存储数据源时如果无 process 则为 true，如果存在 process 但不包含 filter 设置时为 false，既存在 process 同时包含 filter 设置时为 true。
+            if ((process != null && !"".equals(process))) {
+                this.saveTotal = "delete".equals(process);
+            } else {
+                this.saveTotal = baseFilter == null && seniorFilter == null;
+            }
+//            if (isStorageSource) {
+//                this.saveTotal = true;
+//（2）云存储数据源时如果无 process 则 saveTotal 默认为 true，如果存在 process 则 saveTotal 默认为 false。
 //                if (process == null || "".equals(process)) {
-//                    saveTotal = "true";
+//                    this.saveTotal = true;
 //                } else {
-//                    if (baseFilter != null || seniorFilter != null) saveTotal = "true";
-//                    else saveTotal = "false";
+//                    if (baseFilter != null || seniorFilter != null) this.saveTotal = true;
+//                    else this.saveTotal = false;
 //                }
-            } else {
+//            } else {
 //                if (isSelfUpload) { // 自上传时将上传路径的路径等信息做下保存
-//                    saveTotal = "true";
+//                    this.saveTotal = true;
 //                }
 //                else
-                if ((process != null && !"".equals(process)) || baseFilter != null || seniorFilter != null) {
-                    saveTotal = "false";
-                } else {
-                    saveTotal = "true";
-                }
-            }
+//                if ((process != null && !"".equals(process)) || baseFilter != null || seniorFilter != null) {
+//                    this.saveTotal = false;
+//                } else {
+//                    this.saveTotal = true;
+//                }
+//            }
+        } else {
+            ParamsUtils.checked(saveTotal, "save-total", "(true|false)");
+            this.saveTotal = Boolean.parseBoolean(saveTotal);
         }
-        ParamsUtils.checked(saveTotal, "save-total", "(true|false)");
-        this.saveTotal = Boolean.parseBoolean(saveTotal);
     }
 
     private void setSavePath() throws IOException {

src/main/java/com/qiniu/process/Base.java

@@ -66,8 +66,8 @@ public void setAutoIncrease(boolean autoIncrease) {
     public void setBatchSize(int batchSize) throws IOException {
         if (!ProcessUtils.canBatch(processName)) {
             throw new IOException(processName + " is not support batch operation.");
-        } else if (batchSize > 1000 || batchSize < 1) {
-            throw new IOException("batch size must less than 1000 and more than 1.");
+        } else if (batchSize > 1000 || batchSize < 0) {
+            throw new IOException("batch size must less than 1000 and more than 0.");
         } else {
             this.batchSize = batchSize;
         }

src/main/java/com/qiniu/process/qiniu/CdnUrlProcess.java

@@ -185,7 +185,9 @@ public void closeResource() {
             batches = null;
             lines = null;
             cdnApplier = null;
-            if (saveIndex != null) saveIndex.decrementAndGet();
+            saveIndex = null;
+        } else {
+            saveIndex.decrementAndGet();
         }
     }
 }

src/main/java/com/qiniu/process/qiniu/StatFile.java

@@ -40,7 +40,7 @@ public StatFile(String accessKey, String secretKey, Configuration configuration,
                     String format, String separator, List<String> rmFields, int saveIndex) throws IOException {
         super("stat", accessKey, secretKey, bucket, savePath, saveIndex);
         set(configuration, rmFields, format, separator);
-        this.batchSize = 1000;
+        this.batchSize = 100;
         this.batchOperations = new BatchOperations();
         this.lines = new ArrayList<>();
         this.bucketManager = new BucketManager(Auth.create(accessKey, secretKey), configuration.clone());