EasyML Versions Save

EasyML 1.2.0版本，加入了Tensorflow的单机、分布式的支持，同时对一些bug进行了修复。该版本具体细节功能和改进如下：

Docker集群版本更新

安装包

• EML_1.2.0

镜像获取

• Mysql镜像

docker pull nkxujun/mysql_eml:1.2.0

• Ubuntu镜像：

docker pull nkxujun/ubuntu_eml:1.2.0

更新内容

• Tensorflow支持： ubuntu镜像内置tensorflow 1.3.0版本，提供tensorflow并行模式一键配置脚本。支持tensorflow的数据并行与模型并行

• 新增Tensorflow模型并行示例：以深度学习常用数据集mnist为例，采用CNN Tensorflow模型并行方式解决手写字识别问题

• 新增Tensorflow数据并行示例：以深度学习常用数据集mnist为例，采用CNN Tensorflow数据并行方式解决手写字识别问题

• 脚本修正：修正运行脚本中部分单词拼写错误问题

• 更换示例数据上传方式：修改upload-hdfs.sh脚本，移除单个数据、程序数据的上传模式，采用批量数据上传方式。（此前为一个程序一个程序上传）

EasyML 项目更新

新特性

• Tensorflow类型支持：支持程序上传类型为Tensorflow，同时提供单机、数据并行、模型并行三种运行方式

• Directory类型支持：用户的输入及输出提供Directory类型，在上传程序的命令行中添加输入输出参数时可进行选择

功能改进

• 修复数据库表添加新字段，导致原有数据无法删除问题

• 修复上传程序成功后，点击所上传程序，无法立即显示在画布问题

• 修复部分日志无法显示问题

• 权限修改：删除examples任务只能在examples面板中删除，不能在个人任务中删除

• 示例任务添加CNN_tensorflow(模型分布）和CNN_tensorflow（数据分布）。 该示例为深度学习的入门示例，采用mnist数据集，以Tensorflow CNN为训练模型 解决手写字识别问题

其他

• tensorflow模型分布与数据分布内置脚本（用户可通过该脚本进行自行搭建Tensorflow环境）
• mysql脚本更新

EasyML 1.0.0版本，是基于初始发布版本的优化版本，该版本修复了诸多初始发布版本的Bug。同时集群搭建提供了支持windows/mac安装的docker简化版本安装包，供机器内存小的用户安装使用。具体细节功能和改进如下：

Docker集群版本更新

安装包

• EML_1.0.0 （完整版）
• EML_1.0.0 _brief（简化版，单个容器）

镜像获取

• Mysql镜像

docker pull nkxujun/mysql_eml:1.0.0

• Ubuntu镜像：

docker pull nkxujun/ubuntu_eml:1.0.0

更新内容

• 修复通过Eclipse或IDEA 开发者模式连接集群，提交任务失败问题
• 修复Mysql数据库插入中文乱码问题
• mysql容器添加开机自启动支持

EasyML 项目更新

Bug修复

• 修复Double类型在GWT中转成Int类型解析失败问题
• 修复部分用户反馈系统部署后无法登入问题，更换xml-apis.jar版本
• 修复IDE环境下提交job失败问题（无法与docker的hadoop集群进行数据交互）
• 修正一些国际化中文乱码问题

功能改进

• 移除上传程序过程中生成describe.xml的模块，该文件在后续版本中均无作用
• 修改第三方库（不在maven仓库中的包）在工程中的引用模式
• 将工程依赖hadoop版本2.2.0.2.0.6.0-102 改为2.2.0；将依赖的oozie版本 4.0.0.2.0.6.0-102 改为 4.1.0

EasyML 1.1.0版本，加入了较多的新特性，同时对代码及注释进行了进一步的规范，建议对新特性感兴趣的用户可以升级到该版本进行体验。该版本具体细节功能和改进如下：

Docker集群版本更新

安装包

• EML_1.1.0

镜像获取

• Mysql镜像

docker pull nkxujun/mysql_eml:1.1.0

• Ubuntu镜像：

docker pull nkxujun/ubuntu_eml:1.1.0

更新内容

• Spark版本： Spark版本从原来2.0.1 替换为 1.6.1（2.0.1版本不支持内置ETL算法组件）

• 新增Titanic Demo示例：增加Kaggle竞赛中的Titanic Demo，用户可从该示例中看到新特性的示例

• Python支持： ubuntu镜像内置python 2.7版本

• Tensorflow支持： ubuntu镜像内置tensorflow 1.3.0版本

• Mysql数据库： Mysql镜像新增test数据库，方便用户进行ETL功能测试。studio数据库新增moduleversion表，用于程序与数据的版本管理

• 脚本修正：修正运行脚本中部分单词拼写错误问题

EasyML 项目更新

新特性

• ETL组件。 支持Mysql、Hive数据库的数据读取与写入
• 可编程脚本。 用户可在组件上添加python、shell脚本。组件入口：通过上传程序，选择程序类型为可编程脚本。
• 数据可视化。 用户可针对任务模块执行结果进行可视化，目前可视化支持数据类型包括：CSV、TSV、Json。
• 历史运行记录查看。 用户可在绘图区查看当前任务的历史运行记录，可对历史运行记录进行查看与管理。
• 后台管理查询。 具有管理员权限的用户可在后台管理进行特定条件下的数据的查询。

功能改进

• 示例任务添加删除权限管理
• 示例任务添加Titanic Demo。 该示例为Kaggle竞赛中的赛题，用来进行titanic灾难生还预测。EasyML 1.1.0版本的新特性在该示例中有所体现

其他

• 统一代码格式
• 代码注释补充与完善
• mysql脚本更新