Skip to content

Dev #296

New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Merged
merged 12 commits into from
Feb 20, 2020
Merged

Dev #296

Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension


Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
2 changes: 1 addition & 1 deletion Makefile
Original file line number Diff line number Diff line change
@@ -1,4 +1,4 @@
version=8.4.0
version=8.4.1

package_no_test:
mvn package -Dmaven.test.skip=true
Expand Down
3 changes: 2 additions & 1 deletion README.md
Original file line number Diff line number Diff line change
Expand Up @@ -20,7 +20,8 @@ qiniu-suits-java 是一个多线程的云存储 api tools (base-qiniu),通过
- [x] 移动资源到指定空间 [move 配置](docs/move.md)
- [x] 对空间资源进行重命名 [rename 配置](docs/rename.md)
- [x] 查询空间资源的元信息 [stat 配置](docs/stat.md)
- [x] 修改空间资源的存储类型(低频/标准)[type 配置](docs/type.md)
- [x] 修改空间资源的存储类型(低频/标准/归档)[type 配置](docs/type.md)
- [x] 对空间的归档文件进行解冻 [restorar 配置](docs/restorear.md)
- [x] 修改空间资源的状态(启用/禁用)[status 配置](docs/status.md)
- [x] 修改空间资源的生命周期 [lifecycle 配置](docs/lifecycle.md)
- [x] 对设置了镜像源的空间资源进行镜像更新或拉取 [mirror 配置](docs/mirror.md)
Expand Down
3 changes: 2 additions & 1 deletion docs/asyncfetch.md
Original file line number Diff line number Diff line change
Expand Up @@ -56,7 +56,8 @@ check-url=

### 关于 url-index 和 md5-index
当使用 file 数据源且 parse=tab/csv 时 [xx-]index(ex) 设置的下标必须为整数。url-index 表示输入行中含 url 的字段索引,未设置的情况下则使用
key 字段加上 domain 的方式访问源文件地址,key 下标用 indexes 参数设置,默认会根据 parse 类型设置为 0 或 "key",参见[ indexes 索引](datasource.md#关于-indexes-索引),md5-index 为需要进行 md5 校验时输入 md5 值的字段下标,不设置则无效。
key 字段加上 domain 的方式访问源文件地址,key 下标用 indexes 参数设置,默认会根据 parse 类型设置为 0 或 "key",参见[ indexes 索引](datasource.md#关于-indexes-索引)
及[关于 parse 和索引](datasource.md#关于-parse),md5-index 为需要进行 md5 校验时输入 md5 值的字段下标,不设置则无效。

### 命令行参数方式
```
Expand Down
3 changes: 2 additions & 1 deletion docs/avinfo.md
Original file line number Diff line number Diff line change
Expand Up @@ -24,7 +24,8 @@ url-index=

### 关于 url-index
当使用 file 源且 parse=tab/csv 时 [xx-]index(ex) 设置的下标必须为整数。url-index 表示输入行含 url 形式的源文件地址,未设置的情况下则使用
key 字段加上 domain 的方式访问源文件地址,key 下标用 indexes 参数设置,默认会根据 parse 类型设置为 0 或 "key",参见[ indexes 索引](datasource.md#关于-indexes-索引)。
key 字段加上 domain 的方式访问源文件地址,key 下标用 indexes 参数设置,默认会根据 parse 类型设置为 0 或 "key",参见[ indexes 索引](datasource.md#关于-indexes-索引)
及[关于 parse 和索引](datasource.md#关于-parse)。

### 命令行方式
```
Expand Down
12 changes: 7 additions & 5 deletions docs/cdn.md
Original file line number Diff line number Diff line change
Expand Up @@ -32,7 +32,8 @@ is-dir=

#### 关于 url-index
当 parse=tab/csv 时 [xx-]index(ex) 设置的下标必须为整数。url-index 表示输入行中存在 url 形式的源文件地址,未设置的情况下则默认从 key 字段
加上 domain 的方式访问源文件地址,key 下标用 indexes 参数设置,默认会根据 parse 类型设置为 0 或 "key",参见[ indexes 索引](datasource.md#关于-indexes-索引)。
加上 domain 的方式访问源文件地址,key 下标用 indexes 参数设置,默认会根据 parse 类型设置为 0 或 "key",参见[ indexes 索引](datasource.md#关于-indexes-索引)
及[关于 parse 和索引](datasource.md#关于-parse)。

#### 批量刷新的 url 条数
刷新操作分为目录刷新和普通 url 刷新,目录刷新默认每次提交 10 条,普通 url 刷新默认每次提交 30 条,如果需要其他规模,可以通过 batch-size 参数来
Expand Down Expand Up @@ -62,6 +63,11 @@ url-index=
|indexes|字符串| 设置输入行中 key 字段的下标(有默认值),参考[数据源 indexes 设置](datasource.md#1-公共参数)|
|url-index| 字符串| 通过 url 操作时需要设置的 url 索引(下标),未设置任何索引和 domain 时根据 parse 类型默认为 0 或 "url"|

#### 关于 url-index
当 parse=tab/csv 时 [xx-]index(ex) 设置的下标必须为整数。url-index 表示输入行中存在 url 形式的源文件地址,未设置的情况下则默认从 key 字段
加上 domain 的方式访问源文件地址,key 下标用 indexes 参数设置,默认会根据 parse 类型设置为 0 或 "key",参见[ indexes 索引](datasource.md#关于-indexes-索引)
及[关于 parse 和索引](datasource.md#关于-parse)。

#### 批量预取的 url 条数
批量预取默认每次提交 30 条,如果需要其他规模,可以通过 batch-size 参数来设置,如 `batch-size=50`,但是批量预取资源的每次提交条数上限是 60。

Expand Down Expand Up @@ -89,10 +95,6 @@ url-index=
|indexes|字符串| 设置输入行中 key 字段的下标(有默认值),参考[数据源 indexes 设置](datasource.md#1-公共参数)|
|url-index| 字符串| 通过 url 操作时需要设置的 url 索引(下标),未设置任何索引和 domain 时根据 parse 类型默认为 0 或 "url"|

#### 关于 url-index
当 parse=tab/csv 时 [xx-]index(ex) 设置的下标必须为整数。url-index 表示输入行中存在 url 形式的源文件地址,未设置的情况下则默认从 key 字段
加上 domain 的方式访问源文件地址,key 下标用 indexes 参数设置,默认会根据 parse 类型设置为 0 或 "key",参见[ indexes 索引](datasource.md#关于-indexes-索引)。

#### 批量查询的 url 条数
每次提交查询条数默认 100 条,如果需要其他规模,可以通过 batch-size 参数来设置,如 `batch-size=80`,但是查询的每次提交条数上限是 100。

Expand Down
9 changes: 5 additions & 4 deletions docs/censor.md
Original file line number Diff line number Diff line change
Expand Up @@ -36,6 +36,11 @@ private=
|scenes| 审核类型字符串| pulp/terror/politician,鉴黄、鉴暴恐、鉴政,多种类型同时审核可用 `,` 拼接,如:`pulp,terror` 或 `pulp,terror,politician` 等|
|private| 数据源私有类型|是否是对私有空间资源进行审核,选择对应的私有类型,参考[私有访问](#资源需要私有签名)|

#### 关于 url-index
当使用 file 源且 parse=tab/csv 时 [xx-]index(ex) 设置的下标必须为整数。url-index 表示输入行含 url 形式的源文件地址,未设置的情况下则使用
key 字段加上 domain 的方式访问源文件地址,key 下标用 indexes 参数设置,默认会根据 parse 类型设置为 0 或 "key",参见[ indexes 索引](datasource.md#关于-indexes-索引)
及[关于 parse 和索引](datasource.md#关于-parse)。

#### 关于 queries 参数
queries 参数用于设置 url 的后缀或 ?+参数部分,内容审核可能会出现大图超过尺寸或大小导致失败,因此可以通过一些图片处理样式或参数来设置对处理之后的图
片进行审核。当设置 private(私有签名)的情况下,该参数会使用在 privateurl 操作中(因为 privateurl 操作在前,当前操作在后)。
Expand Down Expand Up @@ -76,10 +81,6 @@ private=
|check-url| true/false|表示是否在提交任务之前对回调地址进行简单的 post 请求验证(无body的纯post请求),默认为 true,如果无需验证则设置为 false|
|private| 数据源私有类型|是否是对私有空间资源进行审核,选择对应的私有类型,参考[私有访问](#资源需要私有签名)|

#### 关于 url-index
当使用 file 源且 parse=tab/csv 时 [xx-]index(ex) 设置的下标必须为整数。url-index 表示输入行含 url 形式的源文件地址,未设置的情况下则使用
key 字段加上 domain 的方式访问源文件地址,key 下标用 indexes 参数设置,默认会根据 parse 类型设置为 0 或 "key",参见[ indexes 索引](datasource.md#关于-indexes-索引)。

### 资源需要私有签名
当进行图片审核的 url 需要通过私有鉴权访问时(资源来自于存储私有权限的空间),本工具支持串联操作,即先进行对应的私有签名再提交审核,使用如下的 private
参数设置即可,如不需要进行私有访问则不设置,目前支持以下几类签名:
Expand Down
2 changes: 1 addition & 1 deletion docs/censorresult.md
Original file line number Diff line number Diff line change
Expand Up @@ -26,4 +26,4 @@ id-index=
```

## 备注
censorresult 操作是 file 源下的操作,从 every line of fileinput 的 id-index 索引获取 jobId。
censorresult 操作是 file 源下的操作,从 every line of fileinput 的 id-index 索引获取 jobId,参见[关于 parse 和索引](datasource.md#关于-parse)
7 changes: 4 additions & 3 deletions docs/copy.md
Original file line number Diff line number Diff line change
Expand Up @@ -18,6 +18,7 @@ to-bucket=<to-bucket>
toKey-index=
add-prefix=
rm-prefix=
force=
```
|参数名|参数值及类型 | 含义|
|-----|-------|-----|
Expand All @@ -29,11 +30,11 @@ rm-prefix=
|toKey-index| 字符串| copy 操作可选择设置的目标文件名索引(下标),需要手动指定才会解析|
|add-prefix| 字符串| 表示为保存的文件名添加指定前缀|
|rm-prefix| 字符串| 表示将原文件名去除存在的指定前缀后作为 copy 之后保存的文件名|
|force| true/false| 目标文件名如果目标空间中已存在是否进行强制覆盖,默认为 false|

### 关于 toKey-index
指定输入行中对应修改之后的文件名字段下标,不设置则无法进行解析,当使用 file 源且 parse=tab/csv 时下标必须为整数,但未设置且 add-prefix 不为空
时需要强制指定 prefix-force=true,表明该次重命名操作只添加文件名前缀。由于 rename 操作既需要原始文件名字段也需要新文件名字段,因此 toKey 下
标和 key 字段下标不可相同,key 下标用 indexes 参数设置,默认会根据 parse 类型设置为 0 或 "key",参见[ indexes 索引](datasource.md#关于-indexes-索引)。
指定输入行中对应修改之后的文件名字段下标,不设置则无法进行解析,当使用 file 源且 parse=tab/csv 时下标必须为整数,toKey 下标和 key 字段下标不可
相同,key 下标用 indexes 参数设置,默认会根据 parse 类型设置为 0 或 "key",参见[ indexes 索引](datasource.md#关于-indexes-索引)及[关于 parse 和索引](datasource.md#关于-parse)。
**注意**:七牛存储空间不支持文件名以 `../`, `./` 开头或者包含 `/../`, `/./` 这种情况,会造成无法访问,因此设置文件名时请注意。

### 命令行方式
Expand Down
Loading