猜您喜欢:
PiFlow是一个扩展性强，性能优越，简单易用的大数据流水线系统，提供了100+的数据处理组件，包括Hadoop 、Spark、MLlib、Hive、Solr、Redis、MemCache、ElasticSearch、JDBC、MongoDB、HTTP、FTP、XML、CSV、JSON等，欢迎下载使用！
可视化配置流水线
监控流水线
查看流水线日志
检查点功能
支持自定义开发数据处理组件
基于分布式计算引擎Spark开发
集成了微生物领域的相关算法
解压piflow-server-v0.9.tar.gz:
tar -zxvf piflow-server-v0.9.tar.gz
编辑配置文件config.properties
运行、停止、重启PiFlow Server
start.sh、stop.sh、 restart.sh、 status.sh
测试 PiFlow Server
设置环境变量 PIFLOW_HOME
vim /etc/profile
export PIFLOW_HOME=/yourPiflowPath/bin
export PATH=PATH:PIFLOW_HOME/bin
运行如下命令
piflow flow start example/mockDataFlow.json
piflow flow stop appID
piflow flow info appID
piflow flow log appID
piflow flowGroup start example/mockDataGroup.json
piflow flowGroup stop groupId
piflow flowGroup info groupId
如何配置
config.properties
#spark and yarn config
spark.master=yarn
spark.deploy.mode=cluster
#hdfs default file system
fs.defaultFS=hdfs://10.0.86.191:9000
#yarn resourcemanager.hostname
yarn.resourcemanager.hostname=10.0.86.191
#if you want to use hive, set hive metastore uris
#hive.metastore.uris=thrift://10.0.88.71:9083
#show data in log, set 0 if you do not want to show data in logs
data.show=10
#server port
server.port=8002
#h2db port
h2.port=50002
以上就是非凡软件站小编今日为大家带来的PiFlow(大数据流水线系统)，更多软件下载尽在非凡软件站。
数据分析软件大全 企业采用优秀的数据分析软件开展业务可以获得巨大的竞争优势，尤其是当这些数据工具更多地使用增强分析时，数据分析软件能够挖掘跟踪从当前销售到历史库存的各种业务活动的数据，并根据数据科学家的建议进行处理。接下来非凡软件站小编就给大家带来数据分析软件大全下载，感兴趣的小伙伴们速来看看吧~~
FCS Expressv最新v1.14 FCS Express作为强大的流式细胞仪数据分析软件，专为...详情>>
ViBoard数据可视化大屏分析软件v1.0.12 ViBoard数据可视化大屏分析软件集数据整合、处理、可视化...详情>>
IBM SPSS Statisticsv1.14 IBM SPSS Statistics广泛应用于社会科学、医...详情>>
在醒图这个强大的修图软件中，蒙版可是一项非常实用的功能，它能帮助我们实现各种精细且独特的修图效果。那么，醒图的蒙版在哪里呢？下面就为大家详细介绍。当你打开醒图软件，导入一张需要编辑的图片后，进入编辑界面。在界面下方的菜单栏中，找到“特效”选项并点击。进入“特效
孩子王app是一款专为母婴及儿童相关产品打造的便捷购物平台，为家长们提供了丰富多样的商品选择。那么，如何在孩子王app上轻松购物呢？首先，下载并打开孩子王app。进入首页后，你会看到各类母婴及儿童产品的分类导航，如奶粉、纸尿裤、童装、玩具等。根据自己的需求点击
在软件开发过程中，git承诺时间表对于团队协作和项目管理至关重要。而vscode作为一款强大的代码编辑器，也提供了便捷的方式来打开git承诺时间表。安装相关扩展要在vscode中查看git承诺时间表，首先需要安装一些必要的扩展。打开vscode，点击左侧的扩展
在编程的奇妙世界里，dev-c++是一款备受欢迎的集成开发环境。对于新手和经验丰富的开发者来说，掌握如何在dev-c++中打开文件是一项必备技能。今天，就让我们一同揭开这个神秘的面纱，看看如何轻松实现文件的打开操作。准备工作首先，确保你已经成功安装了dev-c
在抖音这个充满趣味和创意的短视频平台上，弹幕有时能增添不少互动氛围，但也有不少小伙伴想知道如何关闭弹幕。下面就来详细介绍一下抖音弹幕关闭的方法。首先，打开抖音应用程序。当你正在观看某个视频时，若想要关闭弹幕，操作其实并不复杂。在视频播放界面中，你会看到屏幕上有
在编程的世界里，调试是一项至关重要的技能。而eclipse作为一款广泛使用的集成开发环境（ide），提供了强大的单步调试功能，能帮助开发者快速定位和解决代码中的问题。下面就详细介绍一下eclipse如何进行单步调试。一、设置断点首先，打开你要调试的java项目
本站所有资源（含游戏）均是软件作者、开发商投稿，任何涉及商业盈利目的均不得使用，否则产生的一切后果将由您自己承担！本站将不对任何资源负法律责任，所有资源请在下载后24小时内删除。
如侵犯了您的版权、商标等，请立刻联系我们并具体说明情况后，本站将尽快处理删除，联系
（版权说明注意事项）。若有关在线投稿、无法下载等问题，请与本站客服人员联系
！
用户可自行按线路选择相应的下载点，可以直接点击下载/另存为，若直接点击下载速度太慢，请尝试使用高速下载器。为确保下载的文件能正常使用，请使用WinRAR最新版本解压本站软件。
建议大家谨慎对待所下载的文件，大家在安装的时候务必留意每一步！关于360安全卫士或QQ电脑管家的有关提示，请自行注意选择操作。
