dolphinscheduler在window环境下单机编译+部署
日期: 2020-06-16 分类: 跨站数据测试 279次阅读
为了完整演示整个流程,从0开始,排除其它一切干扰,本人特意找了台新的windows环境,全程无需IDE的参与操作
一、版本信息:
-
dolphinscheduler:1.3.0
-
maven:3.6.3
-
jdk:1.8
二、编译
-
注意事项:
1.无需下载node.js,执行下面的maven打包会自动下载,node.js版本不对编译会有问题
2.window下编译完后tar包的解压一定不要用国产解压软件,否则会有下图的惨状,推荐压缩软Bandizip
-
下载
源码下载地址:https://github.com/apache/incubator-dolphinscheduler/archive/1.3.0.zip
-
配置
新建mysql数据库,
CREATE DATABASE dolphinscheduler
,设置好用户名密码需要修改
dolphinscheduler-dao
模块下的的datasource.properties
文件,修改为如下内容spring.datasource.driver-class-name=com.mysql.jdbc.driver spring.datasource.url=jdbc:mysql://127.0.0.1:3306/dolphinscheduler spring.datasource.username=dolphinscheduler spring.datasource.password=123456
-
编译
注意,maven镜像最好设置为国内源,windows下在gitbash或者cmd等terminal中执行:
mvn -Dmaven.test.skip=true clean package install -Prelease
cd dolphinscheduler-dist
mvn -Dmaven.test.skip=true package -Prelease
经过漫长的依赖包下载和编译,最后生成tar.gz包apache-dolphinscheduler-incubating-1.3.0-dolphinscheduler-bin.tar.gz
解压tar包,可以看到如下目录结构,ui也一并在里面,如果发现ui不在里面,请检查你的环境中是否有其它版本的node.js
三、windows单机部署
1.zookeeper安装
在实际生产中,zk作为DS服务的注册中心,实打实的心脏功能,我们进入一台生产环节的zk查看下DS在里面的目录结构
[zk: localhost:2181(CONNECTED) 4] ls /dolphinscheduler
[dead-servers, nodes, tasks_queue, masters, lock, workers, tasks_kill]
不需要看DS源码,看zk里面的目录一目了然都用zk做了哪些事,比如服务的注册、锁的注册、任务的管理,所以ds跟大数据生态组件一样是一个强依赖zk的组件。在windows下,为了演示整个流程,我们先装单点的zk,不做集群,安装方式很简单,如下:
zookeeper下载地址:https://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.6.1/apache-zookeeper-3.6.1-bin.tar.gz
解压后进入apache-zookeeper-3.6.1-bin\conf
,把zoo_sample.cfg
重命名为zoo.cfg
,再编辑zoo.cfg
,修改如下两个参数:
dataDir=C:\\software\\apache-zookeeper-3.6.1-bin\\data
dataLogDir=C:\\software\\apache-zookeeper-3.6.1-bin\\logs
启动zkServer
cd apache-zookeeper-3.6.1-bin\bin
zkServer.cmd
2.服务部署
-
数据库初始化
用上面推荐的解压软件解压上面编译生成的tar包
需要把jdbc驱动包拷贝到lib目录下,下载地址:mysql-connector-java-5.1.47.jar
# 这里一定要cd到解压后的tar包的根目录下执行所有操作
cd apache-dolphinscheduler-incubating-1.3.0-dolphinscheduler-bin
java -classpath lib/* org.apache.dolphinscheduler.dao.upgrade.shell.CreateDolphinScheduler
-
启动服务
起5个cmd窗口,以下所有命令在apache-dolphinscheduler-incubating-1.3.0-dolphinscheduler-bin下执行
-
启动master
java -classpath lib/* org.apache.dolphinscheduler.server.master.MasterServer
-
启动worker
java -classpath lib/* org.apache.dolphinscheduler.server.worker.WorkerServer
-
启动api server
java -classpath lib/* org.apache.dolphinscheduler.api.ApiApplicationServer --spring.config.name=application-api
-
启动log server
java -classpath lib/* org.apache.dolphinscheduler.server.log.LoggerServer
-
启动alert server
java -classpath lib/* org.apache.dolphinscheduler.alert.AlertServer
5个服务都已启动成功
-
查看本地部署的zookeeper里面,ds相关的目录也已经生成
访问页面http://127.0.0.1:12345/dolphinscheduler/ui/view/login/index.html,用户名:admin 密码:dolphinscheduler123
大功告成!
注意:DS目前只支持在linux下调度shell,不支持在windows下执行调度,基本的原理是Worker build的执行脚本是shell,不是windows支持的.bat或.cmd文件格式。
除特别声明,本站所有文章均为原创,如需转载请以超级链接形式注明出处:SmartCat's Blog
精华推荐