Merge pull request #286 from NigelWu95/dev

Dev

Author: 吴炳亨

README.md

@@ -340,11 +340,12 @@ rm-fields 可选择持久化结果中去除某些字段，未设置的情况下
 
 详细配置说明见 [持久化配置](docs/resultsave.md)。  
 
-### 7 超时设置
-多数数据源或者操作涉及网络请求，因此提供超时时间设置，默认的超时时间一般能够满足要求，特殊需要的情况下可以修改各超时时间：  
+### 7 网络设置
+多数数据源或者操作涉及网络请求，因此提供超时时间和协议设置，默认设置一般能够满足要求，特殊需要的情况下可以修改各超时时间和协议：  
 `connect-timeout=60` 网络连接超时时间，程序默认 60s  
 `read-timeout=120` socket 读取超时时间，程序默认 120s  
 `request-timeout=60` 网络请求超时时间，程序默认 60s  
+`config-https=true/false` 对数据源或 process 涉及的公共 api 是否使用 https 来请求，七牛云/华为云数据源或者七牛的 process 均默认使用 https  
 
 ### 8 错误及异常
 1、一般情况下，终端输出异常信息如 socket timeout 超时为正常现象，如：
@@ -353,7 +354,7 @@ list prefix:<prefix> retrying...
 ...
 java.net.SocketTimeoutException: timeout
 ```
-程序会自动重试，如果比较频繁则可以修改[超时配置](#7-超时设置)重新运行程序，超过重试次数或者其他非预期异常发生时程序会退出，可以将异常信息反馈在 
+程序会自动重试，如果比较频繁则可以修改[超时配置](#7-网络设置)重新运行程序，超过重试次数或者其他非预期异常发生时程序会退出，可以将异常信息反馈在 
 [ISSUE列表](https://github.com/NigelWu95/qiniu-suits-java/issues) 中。  
 2、常见错误信息：  
 （1）java.lang.UnsupportedClassVersionError: Unsupported major.minor version ...  

docs/datamigration.md

@@ -178,7 +178,20 @@ qiniu-sk=
 to-bucket=
 # region 可以不设置则自动判断，如选择自行指定则使用 qiniu-region，便于和数据源的 region 区分开
 # qiniu-region=z0/z1/qvm-z0/...
+```  
+
+##### 七牛云私有存储
+按需要增加如下参数设置 API 的域名即可：  
 ```
+rsf-domain=rsf-z0.qiniu.com
+#rsf-domain=rsf-z1.qiniu.com
+rs-domain=rs-z0.qiniu.com
+#rs-domain=rs-z1.qiniu.com
+api-domain=api.qiniu.com
+#api-domain=api-z1.qiniu.com
+#是否使用 https 对上述设置的域名进行请求
+config-https=true/false
+```  
 
 #### 8. 本地文件列表
 ```

docs/datasource.md

@@ -309,14 +309,17 @@ threads=300
 prefixes=
 #region=
 ```  
-**使用七牛数据源除了可以自行指定 region（建议您自行指定 region 较好），也可以单独指定 rsf,rs,api 域名（一般不需要用到），如**：  
+**使用七牛数据源除了可以自行指定 region（建议您自行指定 region 较好），也可以单独指定 rsf,rs,api 域名（一般不需要用到），如下所示，一般可用在七
+牛私有存储的场景中**：  
 ```
 rsf-domain=rsf-z0.qiniu.com
 #rsf-domain=rsf-z1.qiniu.com
 rs-domain=rs-z0.qiniu.com
 #rs-domain=rs-z1.qiniu.com
 api-domain=api.qiniu.com
 #api-domain=api-z1.qiniu.com
+#是否使用 https 对上述设置的域名进行请求
+config-https=true/false
 ```  
 
 ### 2 腾讯云存储

docs/syncupload.md

@@ -49,7 +49,7 @@ private=
 |private| 数据源私有类型|是否是对私有空间资源进行同步访问上传，选择对应的私有类型，参考[私有访问](#资源需要私有签名)|  
 
 ### 超时时间
-timeout 参数可以通过全局的 timeout 来设置，参考：[超时设置](../README.md#7-超时设置)  
+timeout 参数可以通过全局的 timeout 来设置，参考：[网络设置](../README.md#7-网络设置)  
 
 ### 关于 url-index
 当使用 file 源且 parse=tab/csv 时 [xx-]index(ex) 设置的下标必须为整数。url-index 表示输入行含 url 形式的源文件地址，未设置的情况下则使用 

docs/uploadfile.md

@@ -13,6 +13,7 @@ process=qupload
 path=
 directories=
 directory-config=
+anti-prefixes=
 ak=
 sk=
 bucket=
@@ -36,6 +37,7 @@ check=
 |path| 本地路径| path 是数据源选项，可以通过设置本地路径来指定要上传的文件，为目录时会遍历目录下（包括内层目录）除隐藏文件外的所有文件|  
 |directories| 文件目录列表| 如果希望上传 path 下的几个目录中文件，可设置 path 路径下需要读取的目录列表，以 `,` 号分割目录名，不设置默认读取 path 下全部目录进行文件的上传|  
 |directory-config| 配置文件路径|数据源文件目录及对应已上传的文件名配置，配置中记录已上传的文件在 path 中的位置标识，配置格式为 json，参考[ directory-config 配置文件](#directory-config-配置)，该配置不需要自行编写|  
+|anti-prefixes| 文件目录列表| 表示上传目录下文件时排除某些名称前缀的子目录，支持以 `,` 分隔的列表，特殊字符同样需要转义符|  
 |ak、sk|长度40的字符串|七牛账号的ak、sk，通过七牛控制台个人中心获取|  
 |bucket| 字符串| 上传到的资源原空间名称|  
 |filepath-index| 文件路径索引| 非必填字端，当直接上传 path 路径中的文件时无需设置，如果是通过读取文本文件每一行中的路径信息则需要设置|  
@@ -72,7 +74,7 @@ directory-config 中的目录名可以采取相对 path 路径下的目录名。
 |value| 表示数据源中某一行的内容，如 "qiniu_success_1.txt" 表示 "/Users/wubingheng/Projects/Github/test" 目录中可能存在该文件名|  
 
 ### 上传超时时间
-timeout 参数可以通过全局的 timeout 来设置，参考：[超时设置](../README.md#7-超时设置)  
+timeout 参数可以通过全局的 timeout 来设置，参考：[网络设置](../README.md#7-网络设置)  
 
 ### 关于上传的文件路径
 上传文件的操作可以直接上传通过 path 指定的目录下的文件，也支持传通过文件列表中提供的 filepath 的文件，如：  

pom.xml

@@ -6,7 +6,7 @@
 
     <groupId>com.qiniu</groupId>
     <artifactId>qsuits</artifactId>
-    <version>8.3.9</version>
+    <version>8.3.10</version>
     <name>qsuits</name>
     <description>qiniu-suits is a efficient tools for qiniu api implemented by java8.</description>
     <url>https://github.com/NigelWu95/qiniu-suits-java</url>

src/main/java/com/qiniu/entry/CommonParams.java

@@ -24,6 +24,7 @@ public class CommonParams {
     private int connectTimeout;
     private int readTimeout;
     private int requestTimeout;
+    private boolean httpsForConfigEnabled;
     private String path;
     private String source;
     private boolean isStorageSource;
@@ -46,7 +47,6 @@ public class CommonParams {
     private String bucket;
     private String logFilepath;
     private Map<String, Map<String, String>> pathConfigMap;
-    private List<String> antiDirectories;
     private List<String> antiPrefixes;
     private boolean prefixLeft;
     private boolean prefixRight;
@@ -164,6 +164,7 @@ public CommonParams(IEntryParam entryParam) throws Exception {
         setTimeout();
         path = entryParam.getValue("path", "");
         setSource();
+        setHttpsConfigEnabled();
         accountInit();
         logFilepath = entryParam.getValue("log", null);
         if (isStorageSource) {
@@ -211,6 +212,7 @@ public CommonParams(Map<String, String> paramsMap) throws Exception {
         this.entryParam = new ParamsConfig(paramsMap);
         setTimeout();
         source = "terminal";
+        setHttpsConfigEnabled();
         accountInit();
         setParse();
         setSeparator();
@@ -384,6 +386,16 @@ else if (!source.matches("(local|qiniu|tencent|aliyun|upyun|s3|huawei|baidu)"))
         isStorageSource = CloudApiUtils.isStorageSource(source);
     }
 
+    private void setHttpsConfigEnabled() throws IOException {
+        String enabled = entryParam.getValue("config-https", "").trim();
+        if ("".equals(enabled)) {
+            if ("qiniu".equals(source) || "huawei".equals(source)) httpsForConfigEnabled = true;
+        } else {
+            ParamsUtils.checked(enabled, "config-https", "(true|false)");
+            httpsForConfigEnabled = Boolean.parseBoolean(enabled);
+        }
+    }
+
     private void setParse() throws IOException {
         parse = entryParam.getValue("parse", "tab").trim();
         ParamsUtils.checked(parse, "parse", "(csv|tab|json|object|file)");
@@ -1343,6 +1355,10 @@ public void setRequestTimeout(int requestTimeout) {
         this.requestTimeout = requestTimeout;
     }
 
+    public void setHttpsForConfigEnabled(boolean httpsForConfigEnabled) {
+        this.httpsForConfigEnabled = httpsForConfigEnabled;
+    }
+
     public void setPath(String path) {
         this.path = path;
     }
@@ -1415,10 +1431,6 @@ public void setPathConfigMap(Map<String, Map<String, String>> pathConfigMap) {
         this.pathConfigMap = pathConfigMap;
     }
 
-    public void setAntiDirectories(List<String> antiDirectories) {
-        this.antiDirectories = antiDirectories;
-    }
-
     public void setAntiPrefixes(List<String> antiPrefixes) {
         this.antiPrefixes = antiPrefixes;
     }
@@ -1543,6 +1555,10 @@ public int getRequestTimeout() {
         return requestTimeout;
     }
 
+    public boolean isHttpsForConfigEnabled() {
+        return httpsForConfigEnabled;
+    }
+
     public String getPath() {
         return path;
     }
@@ -1615,10 +1631,6 @@ public Map<String, Map<String, String>> getPathConfigMap() {
         return pathConfigMap;
     }
 
-    public List<String> getAntiDirectories() {
-        return antiDirectories;
-    }
-
     public List<String> getAntiPrefixes() {
         return antiPrefixes;
     }