Merge pull request #173 from NigelWu95/dev

Dev

Author: 吴炳亨

README.md

@@ -28,7 +28,7 @@ maven 引入:
 <dependency>
   <groupId>com.qiniu</groupId>
   <artifactId>qsuits</artifactId>
-  <version>4.31</version>
+  <version>4.40</version>
 </dependency>
 ```   
 **务必使用最新版本**
@@ -124,19 +124,23 @@ indexes=0,1,2
 #### 2. 输出结果持久化
 对数据源输出（列举）结果进行持久化操作（目前支持写入到本地文件），持久化选项：  
 `save-path=` 表示保存结果的文件路径  
-`save-tag=` 保存路径文件名包含的标签，默认为空  
 `save-format=` 结果保存格式（json/tab），默认为 tab  
 `save-separator=` 结果保存分隔符，结合 save-format=tab 默认使用 "\t" 分隔  
-`save-total=` 是否保存数据源的完整输出结果，用于在设置过滤器的情况下选择是否保留原始数据。如 bucket 的 list 操作需要在列举出结果之后再针对字段
-进行过滤，save-total=true 则表示保存列举出来的完整数据，而过滤的结果会单独保存，如果只需要过滤之后的数据，则设置 save-total=false。file 源时
-默认不保存原始输出数据，list 源默认保存原始输出数据。   
-**--** 所有持久化参数均为可选参数，未设置的情况下保留所有字段：key、hash、fsize、putTime、mimeType、type、status、endUser，可选择去除某些
-字段，每一行信息以 json 格式保存在 ./result 路径（当前路径下新建 result 文件夹）下。详细参数见 [持久化配置](docs/resultsave.md)。  
-**持久化结果的文件名为 "\<source-name\>\<save-tag\>_success/error_\<order\>.txt"：  
-（1）list 源 =》 "bucketlist\<save-tag\>_success/error_\<order\>.txt"  
-（2）file 源 =》 "fileinput\<save-tag\>_success/error_\<order\>.txt"  
-如果设置了过滤参数，则过滤到的结果文件名为 "filter\<save-tag\>_success/error_\<order\>.txt"，process 过程保存的结果为文件为 
-"\<process\>\<save-tag\>_success/error_\<order\>.txt"**  
+`save-total=` 是否保存数据源的完整输出结果，用于在设置过滤器的情况下选择是否保留原始数据，如 bucket 的 list 操作需要在列举出结果之后再针对字段
+进行过滤，save-total=true 则表示保存列举出来的完整数据，而过滤的结果会单独保存，如果只需要过滤之后的数据，则设置 save-total=false。
+**默认情况：**  
+（1）file 源时默认如果存在 process 或者 filter 设置则为 false，反之则为 true（说明可能是单纯格式转换）。  
+（2）list 源时如果无 process 则为 true，如果存在 process 且包含 filter 设置时为 false，既存在 process 同时包含 filter 设置时为 true。   
+
+*--* 所有持久化参数均为可选参数，未设置的情况下保留所有字段：key,hash,fsize,putTime,mimeType,type,status,md5,endUser，可通过rm-fields
+选择去除某些字段，每一行信息以 json 格式保存在 ./result 路径（当前路径下新建 result 文件夹）下。详细参数见 [持久化配置](docs/resultsave.md)。  
+**持数据源久化结果的文件名为 "\<source-name\>_success/error_\<order\>.txt"：  
+（1）list 源 =》 "bucketlist_success/error_\<order\>.txt"  
+（2）file 源 =》 "fileinput_success/error_\<order\>.txt"  
+如果设置了过滤参数，则过滤到的结果文件名为 "filter_success/error_\<order\>.txt"，process 过程保存的结果为文件为 
+"\<process\>_success/error_\<order\>.txt"**  
+**process 结果的文件名为：<process>_success/error_\<order\>.txt 及 <process>_need_retry_\<order\>.txt，error 的结果表明无法成功
+处理，可能需要确认所有错误数据和原因，need_retry 的结果为需要重试的记录，包含错误信息**  
 
 ### 5 处理过程
 处理过程表示对由数据源输入的每一条记录进行处理，所有处理结果保存在 save-path 路径下，具体处理过程由处理类型参数指定，如 **process=type/status
@@ -161,6 +165,7 @@ indexes=0,1,2
 `process=qhash` 表示查询资源的 qhash [qhash 配置](docs/qhash.md)  
 `process=privateurl` 表示对私有空间资源进行私有签名 [privateurl 配置](docs/privateurl.md)  
 `process=pfopcmd` 表示根据音视频资源的 avinfo 信息来生成转码指令 [pfopcmd 配置](docs/pfopcmd.md)  
+`process=exportts` 表示对 m3u8 的资源进行读取导出其中的 ts 文件列表 [exportts 配置](docs/exportts.md)  
 
 ### 补充
 1. 命令行方式与配置文件方式不可同时使用，指定 -config=<path> 或使用 qiniu.properties 时，需要将所有参数设置在该配置文件中。

docs/asyncfetch.md

@@ -17,7 +17,7 @@ url-index=
 add-prefix=
 rm-prefix=
 host=
-md5-index=
+indexes=
 callback-url=
 callback-body=
 callback-body-type=

docs/datasource.md

@@ -9,15 +9,29 @@
 ```
 source-type=list/file (v.2.11 及以上版本也可以使用 source=list/file，或者不设置该参数)
 path=
-threads=30
+indexes=key,hash,fsize
 unit-len=10000
+threads=30
 ```  
 |参数名|参数值及类型 |含义|  
 |-----|-------|-----|  
 |source-type/source| 字符串 file/list | 选择从[本地路径文件中读取]还是从[七牛空间列举]资源列表|  
 |path| 输入源路径字符串| 资源列表路径，file源时填写本地文件或者目录路径，list源时可填写"qiniu://\<bucket\>"|  
-|threads| 整型数| 表示预期最大线程数，若实际得到的文件数或列举前缀数小于该值时以实际数目为准|  
+|indexes| 字符串列表| 资源元信息字段索引（下标），设置输入行对应的元信息字段下标|  
 |unit-len| 整型数字| 表示一次读取的文件个数（读取或列举长度，默认值 10000），对应与读取文件时每次处理的行数或者列举请求时设置的 limit 参数|  
+|threads| 整型数| 表示预期最大线程数，若实际得到的文件数或列举前缀数小于该值时以实际数目为准|  
+
+#### # 关于 indexes 索引
+indexes 指输入行中包含的资源元信息字段的映射关系，指定索引的顺序为 key,hash,fsize,putTime,mimeType,type,status,md5,endUser，即存储文件
+的信息字段，顺序固定。  
+**默认情况：**  
+（1）当数据源为file 时，默认情况下，程序只从输入行中读取 key 字段数据，parse=tab/csv 时索引为 0，parse=json 时索引为 "key"，需要指定更多字
+段时可设置为数字:0,1,2,3 等或者 json 的 key 名称列表，长度不超过 9，长度表明取对应顺序的前几个字段，当 parse=tab 时索引必须均为整数，如果输入
+行中本身只包含部分字段，则可以在缺少字段的顺序位置用 -1 索引表示，表示跳过该顺序对应的字段，例如原输入行中不包含 mimeType 和 type 字段，则可以设
+置 indexes =0,1,2,3,-1,-1,6。  
+（2）当数据源为 list 时，也可以设置该参数，用于指定下一步 process 操作所需要的字段，默认情况下包含 key 的下标，如果存在 process 操作则自动根据
+过滤设置的字段进行添加，无 process 的情况下包含全部下标：key,hash,fsize,putTime,mimeType,type,status,md5,endUser，如过自行设置则字段为
+也为这其中的一个或几个（因为必须和对象的变量名称一致），需要跳过的字段设置为 -1 即可，按照顺序依次解析所有字段  
 
 ### 1. list 源可选参数
 ```
@@ -85,19 +99,11 @@ prefix-right=
 ```
 parse=
 separator=
-indexes=0,1,2
 ```
 |参数名|参数值及类型 |含义|  
 |-----|-------|-----|  
 |parse| 字符串 json/tab/csv| 数据行格式，json 表示使用 json 解析，tab 表示使用分隔符（默认 "\t"）分割解析，csv 表示使用 "," 分割解析|  
 |separator| 字符串| 当 parse=tab 时，可另行指定该参数为格式分隔符来分析字段|  
-|indexes| 字符串列表| 资源元信息字段索引（下标），设置输入行对应的元信息字段下标，默认只有 key 的下标，parse=tab/csv 时为 "0"，parse=json 时默认为 "key"|  
-
-#### # 关于 indexes 索引
-indexes 指输入行中包含的资源元信息字段的映射关系，指定索引的顺序为 key,hash,fsize,putTime,mimeType,type,status,endUser，默认情况下，程
-序只从输入行中读取 key 字段数据，parse=tab/csv 时索引为 0，parse=json 时索引为 "key"，需要指定更多字段时可设置为数字: 0,1,2,3 等或者 json
-的 key 名称列表，长度不超过 8，长度表明取对应顺序的前几个字段。当 parse-type=tab 时索引必须均为整数，如果输入行中本身只包含部分字段，则可以在缺
-少字段的顺序位置用 -1 索引表示，表示跳过该顺序对应的字段，例如原输入行中不包含 mimeType 和 type 字段，则可以设置 indexes =0,1,2,3,-1,-1,6。  
 
 
 ## 命令行方式

docs/exportts.md

@@ -0,0 +1,31 @@
+# 导出 ts 列表操作
+
+## 简介
+对 m3u8 的资源链接进行读取导出其中的 ts 文件列表。  
+
+## 配置文件选项
+
+### 配置参数
+```
+process=exportts 
+domain=
+protocol=
+url-index=
+rm-prefix=
+```  
+|参数名|参数值及类型 | 含义|  
+|-----|-------|-----|  
+|process=exportts| 从 m3u8 导出 ts 时设置为exportts| 表示导出 ts 操作|  
+|domain| 域名字符串| 用于拼接文件名生成链接的域名，数据源为 file 且指定 url-index 时无需设置|  
+|protocol| http/https| 使用 http 还是 https 访问资源进行抓取（默认 http）|  
+|url-index| 字符串| 通过 url 操作时需要设置的 url 索引（下标），需要手动指定才会进行解析|  
+|rm-prefix| 字符串| 表示将得到的目标文件名去除存在的指定前缀后再进行exportts操作，用于输入的文件名可能比实际空间的文件名多了前缀的情况，如果设置了另外的 url-index 则该参数无效|  
+
+### 关于 url-index
+当使用 file 源且 parse=tab/csv 时下标必须为整数。url-index 表示输入行含 url 形式的源文件地址，未设置的情况下则使用 key 字段加上 domain 的
+方式访问源文件地址，key 下标用 indexes 参数设置。  
+
+## 命令行方式
+```
+-process=avinfo -domain= -protocol=
+```

docs/resultsave.md

@@ -21,7 +21,7 @@ rm-fields=
 |save-total| true/false| 用于选择是否直接保存数据源完整输出结果，针对存在下一步处理过程时是否需要保存原始数据，如列举空间文件并修改文件类型时是否保存完整的列举结果，或者存在过滤条件时是否保存过滤之前的结果|  
 |rm-fields| 字符串列表| 保存结果中去除的字段，为输入行中的实际，用 "," 做分隔，如 key,hash，表明从结果中去除 key 和 hash 字段再进行保存，不填表示所有字段均保留|  
 
-**rm-fields 对应的字段名列表应为资源元信息字段 key、hash、fsize、putTime、mimeType、type、status、endUser 加上自定义的字段名中的一个或几个。**
+**rm-fields 对应的字段名列表应为资源元信息字段 key,hash,fsize,putTime,mimeType,type,status,md5endUser 加上自定义的字段名中的一个或几个。**
 
 ## 命令行方式
 ```

pom.xml

@@ -6,7 +6,7 @@
 
     <groupId>com.qiniu</groupId>
     <artifactId>qsuits</artifactId>
-    <version>4.31</version>
+    <version>4.40</version>
     <name>qsuits</name>
     <description>qiniu-suits is a efficient tools for qiniu api implemented by java8.</description>
     <url>https://github.com/NigelWu95/qiniu-suits-java</url>

src/main/java/com/qiniu/convert/FileInfoToMap.java

@@ -1,22 +1,33 @@
 package com.qiniu.convert;
 
+import com.qiniu.interfaces.ILineParser;
 import com.qiniu.interfaces.ITypeConvert;
 import com.qiniu.storage.model.FileInfo;
 import com.qiniu.util.LineUtils;
 
+import java.io.IOException;
 import java.util.*;
 import java.util.stream.Collectors;
 
 public class FileInfoToMap implements ITypeConvert<FileInfo, Map<String, String>> {
 
+    private ILineParser<FileInfo> lineParser;
     private List<String> errorList = new ArrayList<>();
 
+    public FileInfoToMap(Map<String, String> indexMap) {
+        this.lineParser = line -> LineUtils.getItemMap(line, indexMap);
+    }
+
+    public Map<String, String> convertToV(FileInfo line) throws IOException {
+        return lineParser.getItemMap(line);
+    }
+
     public List<Map<String, String>> convertToVList(List<FileInfo> lineList) {
         if (lineList == null || lineList.size() == 0) return new ArrayList<>();
         return lineList.stream()
                 .map(fileInfo -> {
                     try {
-                        return LineUtils.getItemMap(fileInfo);
+                        return lineParser.getItemMap(fileInfo);
                     } catch (Exception e) {
                         errorList.add(String.valueOf(fileInfo) + "\t" + e.getMessage());
                         return null;

src/main/java/com/qiniu/convert/FileInfoToString.java

@@ -27,6 +27,10 @@ public FileInfoToString(String format, String separator, List<String> rmFields)
         }
     }
 
+    public String convertToV(FileInfo line) throws IOException {
+        return stringFormatter.toFormatString(line);
+    }
+
     public List<String> convertToVList(List<FileInfo> lineList) {
         if (lineList == null || lineList.size() == 0) return new ArrayList<>();
         return lineList.stream()

src/main/java/com/qiniu/convert/JsonToString.java

@@ -0,0 +1,60 @@
+package com.qiniu.convert;
+
+import com.google.gson.JsonObject;
+import com.qiniu.interfaces.IStringFormat;
+import com.qiniu.interfaces.ITypeConvert;
+import com.qiniu.util.LineUtils;
+
+import java.io.IOException;
+import java.util.*;
+import java.util.stream.Collectors;
+
+public class JsonToString implements ITypeConvert<JsonObject, String> {
+
+    private IStringFormat<JsonObject> stringFormatter;
+    private List<String> errorList = new ArrayList<>();
+
+    public JsonToString(String format, String separator, List<String> rmFields) throws IOException {
+        // 将 file info 的字段逐一进行获取是为了控制输出字段的顺序
+        if ("json".equals(format)) {
+            stringFormatter = JsonObject::toString;
+        } else if ("csv".equals(format)) {
+            stringFormatter = line -> LineUtils.toFormatString(line, ",", rmFields);
+        } else if ("tab".equals(format)) {
+            stringFormatter = line -> LineUtils.toFormatString(line, separator, rmFields);
+        } else {
+            throw new IOException("please check your format for map to string.");
+        }
+    }
+
+    public String convertToV(JsonObject line) throws IOException {
+        return stringFormatter.toFormatString(line);
+    }
+
+    public List<String> convertToVList(List<JsonObject> lineList) {
+        if (lineList == null || lineList.size() == 0) return new ArrayList<>();
+        return lineList.stream()
+                .map(line -> {
+                    try {
+                        return stringFormatter.toFormatString(line);
+                    } catch (IOException e) {
+                        errorList.add(String.valueOf(line) + "\t" + e.getMessage());
+                        return null;
+                    }
+                })
+                .filter(Objects::nonNull)
+                .collect(Collectors.toList());
+    }
+
+    public List<String> getErrorList() {
+        return errorList;
+    }
+
+    public List<String> consumeErrorList() {
+        List<String> errors = new ArrayList<>();
+        Collections.addAll(errors, new String[errorList.size()]);
+        Collections.copy(errors, errorList);
+        errorList.clear();
+        return errors;
+    }
+}

src/main/java/com/qiniu/convert/LineToMap.java

@@ -25,6 +25,10 @@ public LineToMap(String parseType, String separator, Map<String, String> indexMa
         }
     }
 
+    public Map<String, String> convertToV(String line) throws IOException {
+        return lineParser.getItemMap(line);
+    }
+
     public List<Map<String, String>> convertToVList(List<String> lineList) {
         if (lineList == null || lineList.size() == 0) return new ArrayList<>();
         return lineList.stream()

src/main/java/com/qiniu/convert/MapToString.java

@@ -26,6 +26,10 @@ public MapToString(String format, String separator, List<String> rmFields) throw
         }
     }
 
+    public String convertToV(Map<String, String> line) throws IOException {
+        return stringFormatter.toFormatString(line);
+    }
+
     public List<String> convertToVList(List<Map<String, String>> lineList) {
         if (lineList == null || lineList.size() == 0) return new ArrayList<>();
         return lineList.stream()