Skip to content

Commit 82e8ec5

Browse files
author
wubingheng
committedJun 25, 2019
update docs to add s3 listing datasource support.
1 parent 4d5e61a commit 82e8ec5

File tree

3 files changed

+11
-15
lines changed

3 files changed

+11
-15
lines changed
 

‎README.md

+1
Original file line numberDiff line numberDiff line change
@@ -95,6 +95,7 @@ path 或 bucket 设置)及空间所在区域(通过 region 设置,允许不设
9595
|tencent|`ten-id=`<br>`ten-secret=`<br>`region=ap-beijing/...`| 密钥对应腾讯云账号的 SecretId 和 SecretKey<br>region(可不设置)使用简称,参考[腾讯 Region](https://cloud.tencent.com/document/product/436/6224)|
9696
|aliyun|`ali-id=`<br>`ali-secret=`<br>`region=oss-cn-hangzhou/...`| 密钥对应阿里云账号的 AccessKeyId 和 AccessKeySecret<br>region(可不设置)使用简称,参考[阿里 Region](https://help.aliyun.com/document_detail/31837.html)|
9797
|upyun|`up-name=`<br>`up-pass=`<br>`| 密钥对应又拍云账号管理员的 username 和 password,又拍云存储目前没有 region 概念|
98+
|aws/s3|`s3-id=`<br>`s3-secret=`<br>`region=ap-east-1/...`| 密钥对应 aws/s3 api 账号的 AccessKeyId 和 SecretKey<br>region(可不设置)使用简称,参考[AWS Region](https://docs.aws.amazon.com/zh_cn/general/latest/gr/rande.html)|
9899
#### file 文件内容读取
99100
文件内容为资源列表,可按行读取输入文件的内容获取资源列表,文件行解析参数如下:
100101
`parse=tab/json` 表示输入行的格式

‎docs/datasource.md

+10-12
Original file line numberDiff line numberDiff line change
@@ -35,17 +35,14 @@ threads=30
3535
文件信息字段及顺序定义为:**key,hash,size,datetime,mime,type,status,md5,owner** (indexes 的默认字段及顺序即使用该字段列表),默认使用七
3636
牛存储文件的信息字段进行定义,顺序固定,其释义及其他数据源方式对应关系如下:
3737

38-
|字段名|数据类型及含义| 输入行字段 |七牛云存储资源字段 |腾讯/阿里云存储资源字段|又拍云存储资源字段|
39-
|-----|-----------|----------|---------------|-------------------|---------------|
40-
|key| 字符串,文件名| indexes 的第1个索引| key| key| name|
41-
|hash| 字符串,文件哈希值| indexes 的第2个索引| hash| etag| 无此含义字段|
42-
|size| 长整型数字,文件大小,单位 kb| indexes 的第3个索引| fsize| size| length|
43-
|datetime| 日期时间,格式需为 yyyy-MM-dd'T'HH:mm:ss.SSS(支持到纳秒精确度)| indexes 的第4个索引| putTime| lastModified| last_modified|
44-
|mime| 字符串,mime 类型,也即 content-type| indexes 的第5个索引| mimeType| 无此含义字段| type|
45-
|type| 整形数字或者字符串,资源存储类型| indexes 的第6个索引| type| storageClass(字符串)| 无此含义字段|
46-
|status| 整形数字,资源访问状态| indexes 的第7个索引| status| 无此含义字段| 无此含义字段|
47-
|md5| 字符串,文件 md5 值| indexes 的第8个索引| md5| 无此含义字段| 无此含义字段|
48-
|owner| 字符串,文件终端标识符| indexes 的第9个索引| endUser| Owner-displayName| 无此含义字段|
38+
|数据源 |key(文件名) |hash(文件哈希)|size(文件大小 kb)|datetime(日期时间字符串)|mime(mime-type/content-type)|type(资源存储类型)|status(资源状态)|md5(文件 md5)|owner(终端标识符)|
39+
|-----------|---------------|-------------|-----------------|-----------------------|-----------------------------|-----------------|---------------|-------------|-----------------|
40+
|文件列表输入行|indexes第1个索引|indexes的第2个索引|indexes的第3个索引|indexes的第4个索引 |indexes的第5个索引 |indexes的第6个索引 |indexes的第7个索引|indexes的第8个索引|indexes的第9个索引|
41+
|七牛云存储 |key |hash |fsize |putTime |mimeType |type |status |md5 |endUser |
42+
|腾讯云存储 |key |etag |size |lastModified |无此含义字段 |storageClass |无此含义字段 |无此含义字段 |Owner.displayName|
43+
|阿里云存储 |key |etag |size |lastModified |无此含义字段 |storageClass |无此含义字段 |无此含义字段 |Owner.displayName|
44+
|又拍云存储 |name |无此含义字段 |length |last_modified |type |无此含义字段 |无此含义字段 |无此含义字段 |无此含义字段 |
45+
|AWS云存储/S3|key |etag |size |lastModified |无此含义字段 |storageClass |无此含义字段 |无此含义字段 |Owner.displayName |
4946

5047
#### # 关于 indexes 索引
5148
`indexes` 是一个配置字段映射关系的参数,即规定用于从输入行中取出所需字段的索引名及映射到目标对象的字段名,程序会解析每一个键值对构成索引表,参数格式
@@ -104,7 +101,8 @@ prefix-right=
104101
|qiniu|`ak=`<br>`sk=`<br>`region=z0/z1/z2/...`|密钥对应七牛云账号的 AccessKey 和 SecretKey<br>region(可不设置)使用简称,参考[七牛 Region](https://developer.qiniu.com/kodo/manual/1671/region-endpoint)|
105102
|tencent|`ten-id=`<br>`ten-secret=`<br>`region=ap-beijing/...`| 密钥对应腾讯云账号的 SecretId 和 SecretKey<br>region(可不设置)使用简称,参考[腾讯 Region](https://cloud.tencent.com/document/product/436/6224)|
106103
|aliyun|`ali-id=`<br>`ali-secret=`<br>`region=oss-cn-hangzhou/...`| 密钥对应阿里云账号的 AccessKeyId 和 AccessKeySecret<br>region(可不设置)使用简称,参考[阿里 Region](https://help.aliyun.com/document_detail/31837.html)|
107-
|upyun|`up-name=`<br>`up-pass=`<br>`| 密钥对应又拍云账号管理员的 username 和 password,又拍云存储目前没有 region 概念|
104+
|upyun|`up-name=`<br>`up-pass=`<br>| 密钥对应又拍云账号管理员的 username 和 password,又拍云存储目前没有 region 概念|
105+
|aws/s3|`s3-id=`<br>`s3-secret=`<br>`region=ap-east-1/...`| 密钥对应 aws/s3 api 账号的 AccessKeyId 和 SecretKey<br>region(可不设置)使用简称,参考[AWS Region](https://docs.aws.amazon.com/zh_cn/general/latest/gr/rande.html)|
108106

109107
|参数名|参数值及类型 |含义|
110108
|-----|-------|-----|

‎src/main/java/com/qiniu/entry/CommonParams.java

-3
Original file line numberDiff line numberDiff line change
@@ -11,9 +11,6 @@
1111
import com.qiniu.interfaces.ITypeConvert;
1212
import com.qiniu.process.filtration.BaseFilter;
1313
import com.qiniu.process.filtration.SeniorFilter;
14-
import com.qiniu.sdk.FileItem;
15-
import com.qiniu.sdk.UpYunClient;
16-
import com.qiniu.sdk.UpYunConfig;
1714
import com.qiniu.util.*;
1815

1916
import java.io.IOException;

0 commit comments

Comments
 (0)
Please sign in to comment.