Skip to content

Commit ab940bb

Browse files
author
wubingheng
committed
release new version v8.3.0.
1 parent ce865c7 commit ab940bb

File tree

2 files changed

+20
-6
lines changed

2 files changed

+20
-6
lines changed

README.md

+11-3
Original file line numberDiff line numberDiff line change
@@ -268,6 +268,7 @@ filter 详细配置可见[filter 配置说明](docs/filter.md)
268268
`process=lifecycle` 表示修改空间资源的生命周期 [lifecycle 配置](docs/lifecycle.md)
269269
`process=mirror` 表示对设置了镜像源的空间资源进行镜像更新 [mirror 配置](docs/mirror.md)
270270
`process=asyncfetch` 表示异步抓取资源到指定空间 [asyncfetch 配置](docs/asyncfetch.md)
271+
`process=fetch` 表示同步抓取资源到指定空间 [fetch 配置](docs/fetch.md)
271272
`process=qhash` 表示查询资源的 qhash [qhash 配置](docs/qhash.md)
272273
`process=avinfo` 表示查询空间资源的视频元信息 [avinfo 配置](docs/avinfo.md)
273274
`process=pfopcmd` 表示根据音视频资源的 avinfo 信息来生成转码指令 [pfopcmd 配置](docs/pfopcmd.md)
@@ -279,8 +280,9 @@ filter 详细配置可见[filter 配置说明](docs/filter.md)
279280
`process=imagecensor` 表示图片类型资源内容审核 [imagecensor 配置](docs/censor.md#图片审核)
280281
`process=videocensor` 表示视频类型资源内容审核 [videocensor 配置](docs/censor.md#视频审核)
281282
`process=censorresult` 表示内容审核结果查询 [censorresult 配置](docs/censorresult.md)
282-
`process=mime` 修改资源的 mimeType [mime 配置](docs/mime.md)
283-
`process=metadata` 修改资源的 metadata [metadata 配置](docs/metadata.md)
283+
`process=mime` 表示修改资源的 mimeType [mime 配置](docs/mime.md)
284+
`process=metadata` 表示修改资源的 metadata [metadata 配置](docs/metadata.md)
285+
`process=cdnrefresh/cdnprefetch` 表示 CDN 资源的刷新预取操作 [cdn 操作配置](docs/cdn.md)
284286

285287
**注意**
286288
1. 云存储数据源 + process 操作的情况下通常会涉及两对密钥,数据源一对,process 操作一对,如果是 delete、status 等操作则这两对密钥相同,使用一个密
@@ -309,14 +311,20 @@ rm-fields=
309311
|save-separator| 字符串| 结果保存为 tab 格式时使用的分隔符,结合 save-format=tab 默认为使用 "\t"|
310312
|rm-fields| 字符串列表| 保存结果中去除的字段,为输入行中的实际字段选项,用 "," 做分隔,如 key,hash,表明从结果中去除 key 和 hash 字段再进行保存,不填表示所有字段均保留|
311313

312-
#### 关于save-total
314+
#### 关于 save-total
313315
(1)用于选择是否直接保存数据源完整输出结果,针对存在过滤条件或下一步处理过程时是否需要保存原始数据,如 bucket 的 list 操作需要在列举出结果之后再针
314316
对字段进行过滤或者做删除,save-total=true 则表示保存列举出来的完整数据,而过滤的结果会单独保存,如果只需要过滤之后的数据,则设置为 false,如
315317
果是删除等操作,通常删除结果会直接保存文件名和删除结果,原始数据也不需要保存。
316318
(1)本地文件数据源时默认如果存在 process 或者 filter 则设置 save-total=false,反之则设置 save-total=true(说明可能是单纯格式转换)。
317319
(2)云存储数据源时默认设置 save-total=true。
318320
(3)保存结果的路径 **默认(save-path)使用 <bucket\>(云存储数据源情况下)名称或者 <path\>-result 来创建目录**
319321

322+
#### 关于 save-format
323+
(1)json 将数据源的信息导出保存为 json 格式
324+
(2)tab 将数据源的信息导出保存为 table 格式,以 tab 键 `\t` 来分割各项值,顺序按照默认标准字段的顺序
325+
(3)csv 将数据源的信息导出保存为 table 格式,以 `,` 来分割各项值,顺序按照默认标准字段的顺序
326+
(4)yaml 将数据源的信息导出保存为类 yaml 格式,目录下的子目录或文件采用比上一级多一个缩进(`\t`)的形式,用于文件列表的层级输出展示
327+
320328
#### 关于持久化文件名
321329
(1)持数据源久化结果的文件名为 "<source-name\>\_success_<order\>.txt",如 qiniu 存储数据源结果为 "qiniu_success_<order\>.txt",
322330
local 数据源结果为 "local_success_<order\>.txt"。

docs/resultsave.md

+9-3
Original file line numberDiff line numberDiff line change
@@ -15,18 +15,24 @@ rm-fields=
1515
|-----|-------|-----|
1616
|save-total| true/false| 是否直接保存数据源完整输出结果,针对存在下一步处理过程时是否需要保存原始数据|
1717
|save-path| local file 相对路径字符串| 表示保存结果的文件路径|
18-
|save-format| json/tab/csv| 结果保存格式,将每一条结果记录格式化为对应格式,默认为 tab 格式(减小输出结果的体积)|
18+
|save-format| json/tab/csv/yaml| 结果保存格式,将每一条结果记录格式化为对应格式,默认为 tab 格式(减小输出结果的体积)|
1919
|save-separator| 字符串| 结果保存为 tab 格式时使用的分隔符,结合 save-format=tab 默认为使用 "\t"|
20-
|rm-fields| 字符串列表| 保存结果中去除的字段,为输入行中的实际字段选项,用 "," 做分隔,如 key,hash,表明从结果中去除 key 和 hash 字
20+
|rm-fields| 字符串列表| 保存结果中去除的字段,为输入行中的实际字段选项,用 "," 做分隔,如 key,hash,表明从结果中去除 key 和 hash 字|
2121

22-
### 关于save-total
22+
### 关于 save-total
2323
(1)用于选择是否直接保存数据源完整输出结果,针对存在过滤条件或下一步处理过程时是否需要保存原始数据,如 bucket 的 list 操作需要在列举出结果之后再针
2424
对字段进行过滤或者做删除,save-total=true 则表示保存列举出来的完整数据,而过滤的结果会单独保存,如果只需要过滤之后的数据,则设置为 false,如
2525
果是删除等操作,通常删除结果会直接保存文件名和删除结果,原始数据也不需要保存。
2626
(1)本地文件数据源时默认如果存在 process 或者 filter 则设置 save-total=false,反之则设置 save-total=true(说明可能是单纯格式转换)。
2727
(2)云存储数据源时默认设置 save-total=true。
2828
(3)保存结果的路径 **默认(save-path)使用 <bucket\>(云存储数据源情况下)名称或者 <path\>-result 来创建目录**
2929

30+
### 关于 save-format
31+
(1)json 将数据源的信息导出保存为 json 格式
32+
(2)tab 将数据源的信息导出保存为 table 格式,以 tab 键 `\t` 来分割各项值,顺序按照默认标准字段的顺序
33+
(3)csv 将数据源的信息导出保存为 table 格式,以 `,` 来分割各项值,顺序按照默认标准字段的顺序
34+
(4)yaml 将数据源的信息导出保存为类 yaml 格式,目录下的子目录或文件采用比上一级多一个缩进(`\t`)的形式,用于文件列表的层级输出展示
35+
3036
### 关于持久化文件名
3137
(1)持数据源久化结果的文件名为 "<source-name\>\_success_<order\>.txt",如 qiniu 存储数据源结果为 "qiniu_success_<order\>.txt",
3238
local 数据源结果为 "local_success_<order\>.txt"。

0 commit comments

Comments
 (0)