Primihub Versions Save

新增特性

1. 增加数据流通网络，支持公开数据与OpenMPC平台互通，降低陌生节点数据流通门槛；
2. 在我的资源下增加“可申请的资源”菜单，允许节点获取其他未连接节点公开数据集；
3. 联邦学习统计量支持最大、最小值、加和、范数、分位数、平均数、方差、并集、频繁项
4. PIR支持自定义列作为查询关键字
5. MPC LR任务配置中支持自定义某些列不参与计算

体验优化

1. 错误任务日志显示到具体出错位置，便于定位问题
2. 联邦数据预处理添加参数限制条件，提示错误或不支持的参数信息
3. 修复Sigmoid函数溢出问题
4. 统一LOG格式，增加任务id，便于前端显示任务相关日志

新增特性

1. 隐私求交增加TEE支持
2. 缺失值填充功能可根据字段类型自动匹配适用的填充方法，支持4种缺失值处理方法
3. 模型评估增加多种评估指标（分类、回归），支持ROC图展示
   • 分类：Acc、Precision、Recall、F1、AUC、KS、ROC
   • 回归：EV、MaxE、MAE、MSE、RMSE、MedAE、R2
4. 联邦数据预处理支持TargetEncoder特征编码
5. 支持python代码调用mpc联合统计功能，可在联邦学习中使用

优化

1. 提升交互一致性：隐私求交、隐匿查询的交互统一
2. 隐私求交、隐匿查询结果支持在线预览

新增特性

1. 联邦学习新增数据预处理模块，支持pipeline调用
2. 任务启动通过process的形式，避免任务间的干扰
3. PrimiHub平台支持用户自定义python代码的执行（实验特性）
4. 页面端支持联邦线性回归模型
5. 增加部署节点地图展示
6. 增加页面取消任务运行

优化

1. 修复多机部署时模型指标显示问题
2. 对psi输入原始数据做去重处理
3. PrimiHub 的 gcc 编译器版本支持gcc8及以上
4. 优化模型指标页面端展示
5. 修复Window系统下文件UTF-8 BOM头问题

新增特性

1. 将PIR任务分为离线和在线两部分，生成查询数据库部分离线生成，在线部分从生成的离线数据库文件中加载，完成在线部分逻辑
2. 纵向联邦逻辑回归支持CKKS同态密文模式训练
3. 支持联邦线性回归模型

优化：

1. 将aby3代码从PrimiHub迁移到单独的库
2. 修复PSI结果集中文显示问题
3. kkrt16 PSI支持MACOS
4. 修复神经网络使用GPU设备训练和预测报错的问题

新增特性：

1. 联邦学习支持mysql数据库
2. 纵向LR支持多分类
3. PIR支持数据库查询

优化：

1. 修复页面发起联邦任务，未选择可信第三方运行报错，再次选择不运行问题
2. 更新页面纵向LR及横向LR自定义参数配置
3. 页面发起推理服务任务，增加任务类型，横向任务一方推理
4. 修复PIR结果中文显示乱码

新增特性：

1. Python SDK增加获取任务状态
2. 横向联邦支持训练CNN图像分类任务
3. 支持通过页面创建联合统计任务
4. 横向联邦ROC指标聚合垂直平均计算
5. MPC增加联合统计功能
6. MPC通信方式改为gRPC

优化：

1. 修复联邦任务json文件中无'data_set'和'task_name'，使用Python SDK提交任务报错的bug
2. 修复docker提交横向联邦任务获取不到第三方ip地址的bug
3. 通过页面创建PIR任务，改为单选资源以及交互形式优化
4. 更新README
5. 修复测试用例存储结果文件路径不一致的问题
6. 修复nodeid在配置文件中不生效的问题
7. 返回到前端具体注册失败信息在数据集注册失败的情况下

新增特性：

1. 支持通过SDK提交联邦学习任务，包括建模、推理、纵向联邦数据预处理。
2. 增加轻量级的meta service服务， 用于替换替代 redis
3. 增加数据集注册时用户自定义数据集中字段类型，修正自动识别出的数据集类型错误的问题
4. 支持横向LR多分类和基于PyTorch的横向神经网络模型

优化：

1. 对PSI加载数据集阶段，优化根据指定的列加载数据集替代加载所有数据集的流程
2. KKRT16 PSI通信采用GRPC，通信端口使用可配置的统一端口，不再采用每个任务随机获取可用端口的方式
3. 增加数据通信过程中重试功能，避免网络抖动导致整个任务的失败

[Feature] Support the Federated LLM (Chat-GLM6b). [Feature] Primihub SDK(v0.9) is realeased for the developer. [Feature] Support Horizontal Federated Logistic Regression (Plaintext, DP-SGD, Paillier) [Feature] read task config from json file [Feature] split build file into module directory [Feature] remove notify server, use one port to provide service [Feature] support CentOS [Refactor] Many algorithms is now refactored by the new SDK [Experiment] Primihub SDK(v1.0) is added for trying to experience [BugFix] fix read dataset from mysql error for mutli-task run concurrent using same dataset [BugFix] fix register dataset timeout when dataset is large enough [BugFix] fix free cursor pointer using incorrect dctor

Feature

support build docker image for mutli-platform release pre-build binary application

Usage

1. 下载仓库并进入到代码根目录：

git clone https://github.com/primihub/primihub.git
cd primihub

2. 安装运行依赖

apt-get install -y python3.8 python3.8-dev libgmp-dev python3-pip libmysqlclient-dev

3. 下载二进制文件解压

curl -L https://github.com/primihub/primihub/releases/download/1.6.4/primihub-linux-amd64.tar.gz | tar xzv

4. 启动节点

./bazel-bin/node --node_id=node0 --service_port=50050 --config=./config/node0.yaml
./bazel-bin/node --node_id=node1 --service_port=50051 --config=./config/node1.yaml
./bazel-bin/node --node_id=node2 --service_port=50052 --config=./config/node2.yaml

Add Differentially Private Horizontal FL algorithm: DP-SGD Replace ZMQ with gRPC communication protocol for FL task optimize heter_xgb by transferring ids between parties fix pir failed if server dataset has duplicate item PSI supports multi colums in one dataset TLS is supported for grpc communication mysql driver for dataset is enabled in linux operating system support aarch64 platform