implement design docs

Author: cyjseagull

zh_CN/docs/design/architecture.md

@@ -39,6 +39,7 @@ WeDPR的系统架构如下:
 
 - 网络层互联互通：跨机构计算节点网络层互联互通
 
+*******
 ## 1.2 管理层
 
 ### 1.2.1 用户权限体系
@@ -80,6 +81,7 @@ WeDPR中需要审批的流程包括：
 
 基于Jupyter + 隐私计算toolkit `wedpr-ml-toolkit`构建的一个更加灵活的开发环境；数据和模型开发者可自定义隐私计算任务流程，在不更新WeDPR隐私计算平台的前提下，实现定制化的业务需求，提升了系统的可扩展性。
 
+*******
 ## 1.3 网关
 
 ### 1.3.1 API网关

zh_CN/docs/design/authorization.md

@@ -0,0 +1,30 @@
+# 6.审批流
+
+标签: ``数据同步`` ``跨机构``
+
+----
+
+## 6.1 背景
+
+隐私计算平台中，对于他方资源的使用需要有申请、授权、审批的流程。审批流模块全生命周期管理资源的授权流程。
+当前系统需要授权的资源主要是【数据集资源】和【服务资源】。
+
+*******
+## 6.2 功能目标
+
+- **通用的审批流模块**：可支持不同类型的审批流程；即：有新的资源授权需要接入审批流时，可通过管理员设置表单模板直接支持，不需要修改审批模块的代码；
+- **支持设置审批链**：默认是【资源属主】审批，审批链有前后依赖关系，前面的人审批后，后面的人才能看到审批单
+- 审批任务状态管理
+- 支持审批信息的查看，审批单的更新、废弃 
+  - 仅申请人、审批链对应的人、关注人可以查看审批单
+  - 仅申请人可修改、废弃审批单
+
+*******
+## 6.3 审批状态流转
+
+审批流的状态流转如下:
+
+![](../../images/design/auth_lifecycle.png)
+
+
+

zh_CN/docs/design/gateway.md

@@ -0,0 +1,52 @@
+# 3. 统一网关
+
+标签: ``网关`` ``跨机构通信``
+
+----
+
+## 3.1 功能目标
+
+所有隐私计算组件均通过统一的网关进行通信。 功能包括：
+- 支持基于服务的路由策略: 如消息可从机构A的调度服务路由到机构B的调度服务
+- 支持基于NodeID的路由策略: 用于支持计算节点路由
+- 兼容基于taskID的路由策略
+Note: 基于NodeID、组件类型进行消息路由，是因为NodeID是相对比较稳定的节点标识，更适合于做基于Rip协议的最短路径网络转发；若采用基于taskID的路由方式，路由表的变更比较频繁；
+- 支持双向通信协议,网关可扩展
+- 支持基于最短路径网络转发（支持星形网络拓扑）
+- 网关前置与网关之间采用GRPC通信协议
+
+*******
+## 3.2 系统架构
+
+网关支持基于最短路径的路由转发策略，拓扑示例如下:
+
+![](../../images/design/gateway_router.png)
+
+![](../../images/design/gateway_router2.png)
+
+*******
+## 3.3 协议设计
+
+*******
+### 3.3.1 网关前置<==>网关通信协议(GRPC)
+
+![](../../images/design/gateway_front_msg.png)
+
+- 这里topic是用于唯一标记通信管道的字符串，可以是任务ID，也可以是模块ID
+
+*******
+### 3.3.2 网关<==> 网关通信协议(TLS/HTTPS)
+
+![](../../images/design/gateway_msg.png)
+
+*******
+## 3.4 接口
+
+```eval_rst
+.. note::
+   - Java SDK接口参考 `WeDPRTransport <https://github.com/WeBankBlockchain/WeDPR-Component/blob/main/cpp/wedpr-transport/sdk-wrapper/java/bindings/src/main/java/com/webank/wedpr/sdk/jni/transport/WeDPRTransport.java>`_
+   - Python SDK接口参考 `transport_api.py <https://github.com/WeBankBlockchain/WeDPR-Component/blob/main/cpp/wedpr-transport/sdk-wrapper/python/bindings/wedpr_python_gateway_sdk/transport/api/transport_api.py>`_
+```
+
+
+

zh_CN/docs/design/jupyter.md

@@ -0,0 +1,52 @@
+# 7. 专家模式-Jupyter管理
+
+标签: ``Jupyter`` ``专家模式``
+
+----
+
+## 7.1 背景
+
+为了满足业务用户灵活建模的需求，需要为每个用户准备一个jupyter环境。为了满足这个目标，有很多个点需要考虑。（详细在功能目标中介绍）。
+
+*******
+## 7.2 功能目标
+
+- jupyter资源分配模式：一个用户一个jupyter（这里考虑了配比，默认配比是1个虚拟机最多可分配8个Jupyter用户）
+- jupyter之间权限隔离，包括:
+  - 鉴权: 实现Jupyter鉴权插件, 适配WeDPR的鉴权体系
+  - 部署 && 临时数据存储: 多租户，通过linux用户体系进行多用户权限隔离
+
+- 业务分析人员可使用jupyter交互式的方式发起隐私计算任务: 提供了专家模式SDK [wedpr-ml-toolkit](../sdk/ml_sdk/index.md).
+
+*******
+## 7.3 系统架构
+
+![](../../images/design/jupyter.png)
+
+```eval_rst
+.. note::
+   - 后续可考虑通过JupyterEnterpriseGateway接入到远端大数据集群
+```
+
+- `JupyterRouter`: 提供Jupyter多租户路由功能
+- `JupyterLab`: 提供交互式分析环境
+- `wedpr-ml-toolkit`: 访问隐私计算系统的SDK
+
+*******
+## 7.4 模块设计
+
+**前端接入**
+- **基础接入**：通过用户信息生成唯一链接去访问部署的jupyter服务中的前端页面，并将用户鉴权信息通过地址栏参数传递给jupyter服务
+- **jupyter功能拓展**：后续如果有jupyter内其他定制化功能需求，可开发jupyter notebook 页面  文档参考： https://blog.csdn.net/gameboxer/article/details/128484402
+
+************
+**鉴权适配**
+- 添加Jupyter鉴权插件`wedpr-authorization`(已上传pypip)，以适配WeDPR鉴权认证体系
+- 集成JupyterHub的LocalAuthenticator对接wedpr鉴权系统
+
+*********
+**多租户Jupyter管理(JupyterRouter)**
+- 用户注册时，为其在docker内默认创建用户，并在其home目录启动JupyterLab服务，作为其交互式分析的基础环境
+- 站点端记录每个JupyterLab的访问入口以及用户到JupyterLab的映射
+- 用户打开专家模式时，从站点端Jupyter管理模块获取并访问Jupyter入口
+- Jupyter环境已默认安装了专家模式SDK `wedpr-ml-toolkit`

zh_CN/docs/design/scheduler.md

@@ -0,0 +1,33 @@
+# 4. 调度模块
+
+标签: ``WeDPR`` ``调度服务``
+
+----
+
+WeDPR隐私计算服务涉及多种任务，需要调度服务负责任务管理、任务调度、任务编排、任务状态跟踪。
+
+## 4.1 功能目标
+
+- **节点管理**： 计算节点向统一网关注册服务信息；调度服务从统一网关拉取所有正常工作的节点信息
+- **任务管理**：创建、杀死任务，任务重试；任务之间可通过握手方式协调任务，从而支持多活
+- **任务调度**：根据建模节点负载、节点支持的任务类型，将任务负载均衡地调度到不同计算节点，计算节点横向可扩展
+- **任务编排**: 支持定义子任务之间的依赖关系，可断点重试
+- **任务状态跟踪**：跟踪任务运行状态，收集任务执行日志、执行进度
+
+****
+
+## 4.2 系统架构
+
+![](../../images/design/scheduler.png)
+
+调度器(位于站点端)功能包括: 
+- 任务编排
+- 任务跨机构调度 && 任务管理
+- 任务编排
+- 任务执行结果查询
+
+工作节点功能包括：
+- 执行任务(Shell/Jupyter/Python/PSI/PIR/MPC等)
+- 注册节点信息到网关
+- 提供状态检查接口
+- 提供日志上报接口

zh_CN/docs/design/sync.md

@@ -0,0 +1,41 @@
+# 2. 跨机构元信息同步
+
+标签: ``数据同步`` ``跨机构`` ``区块链``
+
+----
+
+## 2.1 背景
+
+隐私计算节点部署于各机构，机构之间数据隔离。但为了协调多个机构完成隐私计算任务，机构之间需引入资源同步服务来共享一些资源元数据信息。
+
+*******
+## 2.2 功能目标
+
+- 可灵活接入多种资源
+- 新接入机构可同步开放访问的所有历史资源元信息
+- 支持去中心化的资源同步方式(区块链)
+
+*******
+## 2.3 整体架构
+
+![](../../images/design/sync.png)
+
+**全局定序**
+- 客户端或其他隐私隐私计算平台(互联互通场景)向站点端发起资源操作请求，如上传、更新、删除数据集等，校验请求，涉及到元数据Create, Remove, Update的操作均封装成ResourceTx，部署到区块链
+- 区块链为每个`ResourceTx`分配全局递增的状态index，并将`index, ResourceTx`写入到链上
+
+**状态同步**
+- 站点端监听合约事件，并从链上同步最新状态的资源元信息，将其放入到资源池中
+
+**提交ResourceTx**
+
+- 站点端定期从ResourcePool中按序取出ResourceTx，并根据资源类型ResourceType dispatch到不同模块处理，并将处理的ResourceTx对应的index记录到DB中
+- ResoureTx执行完毕后，请求对应的站点端通过ResponseCallback，将资源执行结果推送给客户端
+
+涉及到需要同步的资源元信息包括:
+
+- 数据集 && 数据集授权信息
+- 审批流
+- 服务 && 服务授权信息
+
+

zh_CN/docs/design/user.md

@@ -0,0 +1,27 @@
+# 5. 用户管理
+
+标签: ``WeDPR`` ``用户管理``
+
+----
+
+WeDRP2.0缺少部门维度的管理，不便于部门维度的权限控制。WeDRP3.0相比WeDRP2.0, 新增用户组管理模块，平台用户分三层：机构-》用户组-》用户，其中用户组对应一个部门。
+
+## 5.1 系统角色
+
+WeDPR隐私计算系统包括如下几类角色:
+
+- **机构管理员**：管理用户组信息、用户信息，管理角色权限信息
+- **用户组管理员**：管理本用户组信息和用户
+- **用户**：管理数据集，发起隐私计算任务等
+
+
+## 5.2 系统功能
+
+用户管理模块功能包括(操作指南可参考[这里](../manual/user_mgr.md)):
+
+- 创建用户组：机构管理员admin直接创建用户组
+- 查询用户组：机构管理员查询用户组列表，用户组内用户。用户组管理员可以查看本用户组内的用户
+- 编辑用户组：机构管理员可以编辑所有用户组信息，包括用户组名称，用户组管理员。用户组管理员可以编辑本用户组信息。
+- 删除用户组：机构管理员删除用户组
+- 用户组用户新增和删除：机构管理员可以查询，新增，删除所有用户组内的用户? 用户组管理员只能查询，新增，删除本机构内的用户。
+- 用户角色权限：存储用户角色权限

zh_CN/images/design/auth_lifecycle.png

@@ -67,6 +67,12 @@ WeDPR(星隐)是基于区块链、安全多方计算、联合建模等技术构
    :caption: 系统设计
 
    docs/design/architecture.md
+   docs/design/sync.md
+   docs/design/gateway.md
+   docs/design/scheduler.md
+   docs/design/user.md
+   docs/design/authorization.md
+   docs/design/jupyter.md
 
 ========