@@ -268,6 +268,7 @@ filter 详细配置可见[filter 配置说明](docs/filter.md)
268
268
` process=lifecycle ` 表示修改空间资源的生命周期 [ lifecycle 配置] ( docs/lifecycle.md )
269
269
` process=mirror ` 表示对设置了镜像源的空间资源进行镜像更新 [ mirror 配置] ( docs/mirror.md )
270
270
` process=asyncfetch ` 表示异步抓取资源到指定空间 [ asyncfetch 配置] ( docs/asyncfetch.md )
271
+ ` process=fetch ` 表示同步抓取资源到指定空间 [ fetch 配置] ( docs/fetch.md )
271
272
` process=qhash ` 表示查询资源的 qhash [ qhash 配置] ( docs/qhash.md )
272
273
` process=avinfo ` 表示查询空间资源的视频元信息 [ avinfo 配置] ( docs/avinfo.md )
273
274
` process=pfopcmd ` 表示根据音视频资源的 avinfo 信息来生成转码指令 [ pfopcmd 配置] ( docs/pfopcmd.md )
@@ -279,8 +280,9 @@ filter 详细配置可见[filter 配置说明](docs/filter.md)
279
280
` process=imagecensor ` 表示图片类型资源内容审核 [ imagecensor 配置] ( docs/censor.md#图片审核 )
280
281
` process=videocensor ` 表示视频类型资源内容审核 [ videocensor 配置] ( docs/censor.md#视频审核 )
281
282
` process=censorresult ` 表示内容审核结果查询 [ censorresult 配置] ( docs/censorresult.md )
282
- ` process=mime ` 修改资源的 mimeType [ mime 配置] ( docs/mime.md )
283
- ` process=metadata ` 修改资源的 metadata [ metadata 配置] ( docs/metadata.md )
283
+ ` process=mime ` 表示修改资源的 mimeType [ mime 配置] ( docs/mime.md )
284
+ ` process=metadata ` 表示修改资源的 metadata [ metadata 配置] ( docs/metadata.md )
285
+ ` process=cdnrefresh/cdnprefetch ` 表示 CDN 资源的刷新预取操作 [ cdn 操作配置] ( docs/cdn.md )
284
286
285
287
** 注意** :
286
288
1 . 云存储数据源 + process 操作的情况下通常会涉及两对密钥,数据源一对,process 操作一对,如果是 delete、status 等操作则这两对密钥相同,使用一个密
@@ -309,14 +311,20 @@ rm-fields=
309
311
| save-separator| 字符串| 结果保存为 tab 格式时使用的分隔符,结合 save-format=tab 默认为使用 "\t"|
310
312
| rm-fields| 字符串列表| 保存结果中去除的字段,为输入行中的实际字段选项,用 "," 做分隔,如 key,hash,表明从结果中去除 key 和 hash 字段再进行保存,不填表示所有字段均保留|
311
313
312
- #### 关于save -total
314
+ #### 关于 save -total
313
315
(1)用于选择是否直接保存数据源完整输出结果,针对存在过滤条件或下一步处理过程时是否需要保存原始数据,如 bucket 的 list 操作需要在列举出结果之后再针
314
316
对字段进行过滤或者做删除,save-total=true 则表示保存列举出来的完整数据,而过滤的结果会单独保存,如果只需要过滤之后的数据,则设置为 false,如
315
317
果是删除等操作,通常删除结果会直接保存文件名和删除结果,原始数据也不需要保存。
316
318
(1)本地文件数据源时默认如果存在 process 或者 filter 则设置 save-total=false,反之则设置 save-total=true(说明可能是单纯格式转换)。
317
319
(2)云存储数据源时默认设置 save-total=true。
318
320
(3)保存结果的路径 ** 默认(save-path)使用 <bucket\> (云存储数据源情况下)名称或者 <path\> -result 来创建目录** 。
319
321
322
+ #### 关于 save-format
323
+ (1)json 将数据源的信息导出保存为 json 格式
324
+ (2)tab 将数据源的信息导出保存为 table 格式,以 tab 键 ` \t ` 来分割各项值,顺序按照默认标准字段的顺序
325
+ (3)csv 将数据源的信息导出保存为 table 格式,以 ` , ` 来分割各项值,顺序按照默认标准字段的顺序
326
+ (4)yaml 将数据源的信息导出保存为类 yaml 格式,目录下的子目录或文件采用比上一级多一个缩进(` \t ` )的形式,用于文件列表的层级输出展示
327
+
320
328
#### 关于持久化文件名
321
329
(1)持数据源久化结果的文件名为 "<source-name\>\_ success_ <order\> .txt",如 qiniu 存储数据源结果为 "qiniu_success_ <order\> .txt",
322
330
local 数据源结果为 "local_success_ <order\> .txt"。
0 commit comments