Azkaban安装

博主： literature
发布时间：2023 年 09 月 12 日
239 次浏览
关闭评论
9782字数
分类：主机教程

Azkaban简介

背景随着公司业务越来越多，越来越复杂，执行的脚本已经达到了近百个，像以前那样直接使用linux的crontab来执...

之前已经比较详细的介绍过了 Azkaban，现在来简单介绍下 Azkaban 的安装。

Azkaban安装

安装包

Azkaban Web 服务器：azkaban-web-server-2.5.0.tar.gz
Azkaban Excutor 执行服务器：azkaban-executor-server-2.5.0.tar.gz
Azkaban 初始化脚本文件：azkaban-sql-script-2.5.0.tar.gz
下载地址：http://azkaban.github.io/downloads.html

解压安装包

[root@hadoop01 ~] tar -zxvf azkaban-web-server-2.5.0.tar.gz -C apps/ azkaban/
[root@hadoop01 ~] tar -zxvf azkaban-executor-server-2.5.0.tar.gz -C apps/ azkaban/
[root@hadoop01 ~] tar -zxvf azkaban-sql-script-2.5.0.tar.gz -C apps/ azkaban/

Azkaban脚本导入

[root@hadoop01 ~] tar -zxvf azkaban-sql-script-2.5.0.tar.gz -C apps/ azkaban/
#进入MySQL执行脚本：
mysql> create database azkaban; Query OK, 1 row affected (0.01 sec) 

mysql> use azkaban; 
Database changed 

mysql> source /home/hadoop/apps/azkaban/azkaban-script-2.5.0/create-all-sql-2.5.0.sql;

创建SSL配置

#最好是在azkaban 目录下：
[root@hadoop01 ~] keytool -keystore keystore -alias jetty -genkey -keyalg RSA

此命令执行之后会提示输入当前生成 keystore 的密码及相应信息,输入密码请劳记,信息如下：

[root@hadoop1 azkaban] keytool -keystore keystore -alias jetty -genkey - 
keyalg RSA
Enter keystore password:  
Re-enter new password: 
What is your first and last name?
    [Unknown]:  firstName
What is the name of your organizational unit?
    [Unknown]:  companyName
What is the name of your organization?
    [Unknown]:  groupName
What is the name of your City or Locality?
    [Unknown]:  shanghai
What is the name of your State or Province?
    [Unknown]:  shanghai
What is the two-letter country code for this unit?
    [Unknown]:  CN
Is CN=firstName, OU=companyName, O=groupName, L=shanghai, ST=shanghai, C=CN correct?
    [no]:  Y        

Enter key password for 
    (RETURN if same as keystore password):

然后将在当前目录生成 keystore 证书文件,将 keystore 拷贝到 azkaban web 服务器根目录中。如:

[root@hadoop01 ~] cp keystore azkaban/azkaban-web-2.5.0

修改配置文件

#先配置好服务器节点上的时区
#先生成时区配置文件 Asia/Shanghai，用交互式命令 tzselect 即可
#拷贝该时区文件，覆盖系统本地时区配置
[hadoop@hadoop01 ~]$ sudo cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 
#azkaban web 服务器配置进入 azkaban web 服务器安装目录 conf 目录
[hadoop@hadoop01 ~]$ cd apps/azkaban/azkaban-web-2.5.0/conf/

修改 azkaban.properties 文件

#用户配置,具体配置参加下文
#Loader for projects   # global 配置文件所在位置
executor.global.properties=/home/hadoop/apps/azkaban/azkaban-executor-2.5.0/conf/global.properties 
azkaban.project.dir=projects
#数据库类型
database.type=mysql
#端口号
mysql.port=3306
#数据库连接IP
mysql.host=hadoop01
#数据库实例名
mysql.database=azkaban
#数据库用户名
mysql.user=root
#数据库密码
mysql.password=root
#最大连接数
mysql.numconnections=100

#Velocity dev mode velocity.dev.mode=false
#Jetty 服务器属性
#最大线程数
jetty.maxThreads=25
#Jetty SSL 端口
jetty.ssl.port=8443
#Jetty 端口
jetty.port=8081
#SSL 文件名
jetty.keystore=/home/hadoop/apps/azkaban/azkaban-web-2.5.0/keystore
#SSL 文件密码
jetty.password=hadoop
#Jetty 主密码 与 keystore 文件相同
jetty.keypassword=hadoop
#SSL 文件名
jetty.truststore=/home/hadoop/apps/azkaban/azkaban-web-2.5.0/keystore
#SSL 文件密码
jetty.trustpassword=hadoop

#执行服务器属性
executor.port=12321 #执行服务器端口 

#邮件设置(可选项) 
mail.sender=xxxxxxxx@lyafei.com   #发送邮箱
mail.host=smtp.lyafei.com         #发送邮箱 smtp 地址
mail.user=xxxxxxxx                #发送邮件时显示的名称 
mail.password=**********          #邮箱密码
job.failure.email=xxxxxxxx@lyafei.com   #任务失败时发送邮件的地址 
job.success.email=xxxxxxxx@lyafei.com   #任务成功时发送邮件的地址 
lockdown.create.projects=false
#cache.directory=cache           #缓存目录

进入 azkaban web 服务器 conf 目录,修改 azkaban-users.xml 用户配置

azkaban 执行服务器 executor 配置,进入执行服务器安装目录 conf,修改 azkaban.properties

#
#Azkaban
default.timezone.id=Asia/Shanghai   #时区

#Azkaban JobTypes 插件配置，插件所在位置
azkaban.jobtype.plugin.dir=/home/hadoop/apps/azkaban/azkaban-executor-2.5.0/plugins/jobtypes

#Loader for projects 
executor.global.properties=/home/hadoop/apps/azkaban/azkaban-executor-2.5.0/conf/global.properties azkaban.project.dir=projects

#数据库设置
#数据库类型(目前只支持 mysql)
database.type=mysql  
#数据库端口号
mysql.port=3306
#数据库 IP 地址
mysql.host=hadoop01
#数据库实例名
mysql.database=azkaban
#数据库用户名
mysql.user=root
#数据库密码
mysql.password=root
#最大连接数
mysql.numconnections=100

#执行服务器配置
#最大线程数
executor.maxThreads=50
#端口号(如修改,请与 web 服务中一致)
executor.port=12321
#线程数
executor.flow.threads=30

配置环境变量

[hadoop@hadoop01 ~]$ vim /etc/profile

#/etc/profile
export AZKABAN_WEB_HOME=/home/hadoop/apps/azkaban/azkaban-web-2.5.0 
export AZKABAN_EXE_HOME=/home/hadoop/apps/azkaban/azkaban-executor-2.5.0 
export PATH=$PATH:$AZKABAN_WEB_HOME/bin:$AZKABAN_EXE_HOME/bin

启动

启动 web 服务器

nohup azkaban-web-start.sh 1>/home/hadoop/azwebstd.out 2>/home/hadoop/azweberr.out &

启动执行服务器

nohup azkaban-executor-start.sh 1>/home/hadoop/azexstd.out 2>/home/hadoop/azexerr.out &

在浏览器中输入：https://hadoop01:8443/

看到以上界面表示安装成功！！！

安装注意事项

绝对路径

web.resource.dir 项的值要使用绝对路径，否则 web 页面因为加载不到css样式，会没有美丽的界面
user.manager.xml.file 项的值要使用绝对路径，否则启动的时候会报找不到文件的错误

邮箱预警

mail.sender、mail.host、mail.user、mail.password 这四项每一项配置都不能少，端口可以不配置，而且 mail.sender 和 mail.user 的值是一样的，少一项或者配错一项都会报出错误，错误信息如下：

ERROR [EmailMessage] [Azkaban] Connecting to SMTP server failed, attempt: 0 
javax.mail.AuthenticationFailedException: 500 Error: bad syntax
    at com.sun.mail.smtp.SMTPTransport$Authenticator.authenticate(SMTPTransport.java:823)
    at com.sun.mail.smtp.SMTPTransport.authenticate(SMTPTransport.java:756)
    at com.sun.mail.smtp.SMTPTransport.protocolConnect(SMTPTransport.java:673)
    at javax.mail.Service.connect(Service.java:295)
    at azkaban.utils.JavaxMailSender.connect(JavaxMailSender.java:34)
    at azkaban.utils.EmailMessage.connectToSMTPServer(EmailMessage.java:220)
    at azkaban.utils.EmailMessage.retryConnectToSMTPServer(EmailMessage.java:230)
    at azkaban.utils.EmailMessage.sendEmail(EmailMessage.java:213)
    at azkaban.utils.Emailer.sendEmail(Emailer.java:220)
    at azkaban.utils.Emailer.alertOnSuccess(Emailer.java:153)
    at azkaban.executor.selector.ExecutionControllerUtils.alertUser(ExecutionControllerUtils.java:123)
    at azkaban.executor.ExecutionFinalizer.finalizeFlow(ExecutionFinalizer.java:98)
    at azkaban.executor.RunningExecutionsUpdater.updateExecutions(RunningExecutionsUpdater.java:131)
    at azkaban.executor.RunningExecutionsUpdaterThread.run(RunningExecutionsUpdaterThread.java:54)

plugins/jobtypes配置

azkaban.jobtype.plugin.dir=plugins/jobtypes 这一项一定要配置，并且创建文件夹，不然会报错，错误信息如下：

ERROR [FlowTriggerScheduler] [Azkaban] unable to get scheduled flow triggers 
java.lang.NullPointerException
    at azkaban.flowtrigger.quartz.FlowTriggerScheduler.getScheduledFlowTriggerJobs(FlowTriggerScheduler.java:132)
    at azkaban.webapp.servlet.FlowTriggerServlet.handlePage(FlowTriggerServlet.java:140)
    at azkaban.webapp.servlet.FlowTriggerServlet.handleGet(FlowTriggerServlet.java:55)
    at azkaban.webapp.servlet.LoginAbstractAzkabanServlet.doGet(LoginAbstractAzkabanServlet.java:123)
    at javax.servlet.http.HttpServlet.service(HttpServlet.java:668)
    at javax.servlet.http.HttpServlet.service(HttpServlet.java:770)
    at org.mortbay.jetty.servlet.ServletHolder.handle(ServletHolder.java:511)
    at org.mortbay.jetty.servlet.ServletHandler.handle(ServletHandler.java:401)
    at org.mortbay.jetty.servlet.SessionHandler.handle(SessionHandler.java:182)
    at org.mortbay.jetty.handler.ContextHandler.handle(ContextHandler.java:766)
    at org.mortbay.jetty.handler.HandlerWrapper.handle(HandlerWrapper.java:152)
    at org.mortbay.jetty.Server.handle(Server.java:326)
    at org.mortbay.jetty.HttpConnection.handleRequest(HttpConnection.java:542)
    at org.mortbay.jetty.HttpConnection$RequestHandler.headerComplete(HttpConnection.java:928)
    at org.mortbay.jetty.HttpParser.parseNext(HttpParser.java:549)
    at org.mortbay.jetty.HttpParser.parseAvailable(HttpParser.java:212)
    at org.mortbay.jetty.HttpConnection.handle(HttpConnection.java:404)
    at org.mortbay.jetty.bio.SocketConnector$Connection.run(SocketConnector.java:228)
    at org.mortbay.jetty.security.SslSocketConnector$SslConnection.run(SslSocketConnector.java:713)
    at org.mortbay.thread.QueuedThreadPool$PoolThread.run(QueuedThreadPool.j

或者报 native executor not 存在。

Multiple Executor

Multiple Executor的几项必须配置，不然的话会报出以下错误：

ERROR [StdOutErrRedirect] [Azkaban] Exception in thread "main"
ERROR [StdOutErrRedirect] [Azkaban] java.lang.IllegalArgumentException: azkaban.use.multiple.executors must be true. Single executor mode is not supported any more.
ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.ExecutorManager.checkMultiExecutorMode(ExecutorManager.java:240)
ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.ExecutorManager.setupExecutors(ExecutorManager.java:229)
ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.ExecutorManager.initialize(ExecutorManager.java:155)
ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.ExecutorManager.start(ExecutorManager.java:168)
ERROR [StdOutErrRedirect] [Azkaban] at azkaban.webapp.AzkabanWebServer.launch(AzkabanWebServer.java:235)
ERROR [StdOutErrRedirect] [Azkaban] at azkaban.webapp.AzkabanWebServer.main(AzkabanWebServer.java:226)

executor

如果web启动报错，没有活跃得executor，那么需要去数据库中手动修改native状态为1。

Mysql权限

咱们使用MySQL都会有特殊的权限限制，能通过特定的用户，但是经过几次的安装集群后发现，最初hadoop平台搭建的时候，这个MySQL的授权操作还得自己来。
只有拥有特定权限的用户才能执行特定的操作。

GRANT SELECT,INSERT,UPDATE,DELETE ON .* to ''@'%' WITH GRANT OPTION;
#privileges：用户的操作权限，如SELECT，INSERT，UPDATE等，如果要授予所的权限则使用ALL
#databasename：数据库名
#tablename：表名，如果要授予该用户对所有数据库和表的相应操作权限则可用*表示，如 *.*

#授权之后一般都会刷新该操作：
flush privileges;

#撤销授权：
REVOKE privilege ON databasename.tablename FROM 'username'@'host';

derby

如果出现以下报错：

java.lang.NoClassDefFoundError: Could not initialize class org.apache.derby.jdbc.AutoloadedDriver40

原因是：在 azkaban 的 server 和 executor 中缺少一个叫 derby.jar 的包，解决办法如下：

cp $JAVA_HOME/db/lib/derby.jar $AZKABAN_WEB_HOME/extlib
cp $JAVA_HOME/db/lib/derby.jar $AZKABAN_EXE_HOME/extlib

最后修改：2023 年 09 月 11 日

如果觉得我的文章对你有用，请随意赞赏

此处评论已关闭

Azkaban安装

literature • 2023 年 09 月 12 日

<p></p><div class="preview"><div class="post-inser post box-shadow-wrap-normal"><div class="inner-image bg" style="background-image: url(http://www.lyafei.com/usr/uploads/2020/02/252705969.png);background-size: cover;"></div><div class="inner-content"><p class="inser-title">Azkaban简介</p><div class="inster-summary text-muted">背景随着公司业务越来越多，越来越复杂，执行的脚本已经达到了近百个，像以前那样直接使用linux的crontab来执...</div></div><p></div><p></div><p><br />之前已经比较详细的介绍过了 Azkaban，现在来简单介绍下 Azkaban 的安装。</p><p></p><h2>Azkaban安装</h2><h3>安装包</h3><p>Azkaban Web 服务器：azkaban-web-server-2.5.0.tar.gz<br />Azkaban Excutor 执行服务器：azkaban-executor-server-2.5.0.tar.gz<br />Azkaban 初始化脚本文件：azkaban-sql-script-2.5.0.tar.gz<br />下载地址：<span class="external-link">http://azkaban.github.io/downloads.html<i data-feather="external-link"></i></span></p><h3>解压安装包</h3><pre><code>[root@hadoop01 ~] tar -zxvf azkaban-web-server-2.5.0.tar.gz -C apps/ azkaban/
[root@hadoop01 ~] tar -zxvf azkaban-executor-server-2.5.0.tar.gz -C apps/ azkaban/
[root@hadoop01 ~] tar -zxvf azkaban-sql-script-2.5.0.tar.gz -C apps/ azkaban/ 
</code></pre><h3>Azkaban脚本导入</h3><pre><code>[root@hadoop01 ~] tar -zxvf azkaban-sql-script-2.5.0.tar.gz -C apps/ azkaban/
#进入MySQL执行脚本：
mysql> create database azkaban; Query OK, 1 row affected (0.01 sec)

mysql> use azkaban; 
Database changed

mysql> source /home/hadoop/apps/azkaban/azkaban-script-2.5.0/create-all-sql-2.5.0.sql; 
</code></pre><h3>创建SSL配置</h3><pre><code>#最好是在azkaban 目录下：
[root@hadoop01 ~] keytool -keystore keystore -alias jetty -genkey -keyalg RSA
</code></pre><p>此命令执行之后会提示输入当前生成 keystore 的密码及相应信息,输入密码请劳记,信息如下：</p><pre><code>[root@hadoop1 azkaban] keytool -keystore keystore -alias jetty -genkey - 
keyalg RSA
Enter keystore password:  
Re-enter new password: 
What is your first and last name?
    [Unknown]:  firstName
What is the name of your organizational unit?
    [Unknown]:  companyName
What is the name of your organization?
    [Unknown]:  groupName
What is the name of your City or Locality?
    [Unknown]:  shanghai
What is the name of your State or Province?
    [Unknown]:  shanghai
What is the two-letter country code for this unit?
    [Unknown]:  CN
Is CN=firstName, OU=companyName, O=groupName, L=shanghai, ST=shanghai, C=CN correct?
    [no]:  Y

Enter key password for <jetty>
    (RETURN if same as keystore password):  
</code></pre><p>然后将在当前目录生成 keystore 证书文件,将 keystore 拷贝到 azkaban web 服务器根目录中。如:</p><pre><code>[root@hadoop01 ~] cp keystore azkaban/azkaban-web-2.5.0
</code></pre><h3>修改配置文件</h3><pre><code>#先配置好服务器节点上的时区
#先生成时区配置文件 Asia/Shanghai，用交互式命令 tzselect 即可
#拷贝该时区文件，覆盖系统本地时区配置
[hadoop@hadoop01 ~]$ sudo cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 
#azkaban web 服务器配置进入 azkaban web 服务器安装目录 conf 目录
[hadoop@hadoop01 ~]$ cd apps/azkaban/azkaban-web-2.5.0/conf/ 
</code></pre><p>修改 azkaban.properties 文件</p><pre><code>#用户配置,具体配置参加下文
#Loader for projects   # global 配置文件所在位置
executor.global.properties=/home/hadoop/apps/azkaban/azkaban-executor-2.5.0/conf/global.properties 
azkaban.project.dir=projects
#数据库类型
database.type=mysql
#端口号
mysql.port=3306
#数据库连接IP
mysql.host=hadoop01
#数据库实例名
mysql.database=azkaban
#数据库用户名
mysql.user=root
#数据库密码
mysql.password=root
#最大连接数
mysql.numconnections=100

#Velocity dev mode velocity.dev.mode=false
#Jetty 服务器属性
#最大线程数
jetty.maxThreads=25
#Jetty SSL 端口
jetty.ssl.port=8443
#Jetty 端口
jetty.port=8081
#SSL 文件名
jetty.keystore=/home/hadoop/apps/azkaban/azkaban-web-2.5.0/keystore
#SSL 文件密码
jetty.password=hadoop
#Jetty 主密码 与 keystore 文件相同
jetty.keypassword=hadoop
#SSL 文件名
jetty.truststore=/home/hadoop/apps/azkaban/azkaban-web-2.5.0/keystore
#SSL 文件密码
jetty.trustpassword=hadoop

#执行服务器属性
executor.port=12321 #执行服务器端口

#邮件设置(可选项) 
mail.sender=xxxxxxxx@lyafei.com   #发送邮箱
mail.host=smtp.lyafei.com         #发送邮箱 smtp 地址
mail.user=xxxxxxxx                #发送邮件时显示的名称 
mail.password=**********          #邮箱密码
job.failure.email=xxxxxxxx@lyafei.com   #任务失败时发送邮件的地址 
job.success.email=xxxxxxxx@lyafei.com   #任务成功时发送邮件的地址 
lockdown.create.projects=false
#cache.directory=cache           #缓存目录
</code></pre><p>进入 azkaban web 服务器 conf 目录,修改 azkaban-users.xml 用户配置</p><pre><code><azkaban-users>
    <user username="azkaban" password="azkaban" roles="admin" groups="azkaban" />
    <user username="metrics" password="metrics" roles="metrics"/>
    <user username="admin" password="admin" roles="admin,metrics" />
    <role name="admin" permissions="ADMIN" />
    <role name="metrics" permissions="METRICS"/>
</azkaban-users>
</code></pre><p>azkaban 执行服务器 executor 配置,进入执行服务器安装目录 conf,修改 azkaban.properties</p><pre><code>#
#Azkaban
default.timezone.id=Asia/Shanghai   #时区

#Azkaban JobTypes 插件配置，插件所在位置
azkaban.jobtype.plugin.dir=/home/hadoop/apps/azkaban/azkaban-executor-2.5.0/plugins/jobtypes

#Loader for projects 
executor.global.properties=/home/hadoop/apps/azkaban/azkaban-executor-2.5.0/conf/global.properties azkaban.project.dir=projects

#数据库设置
#数据库类型(目前只支持 mysql)
database.type=mysql  
#数据库端口号
mysql.port=3306
#数据库 IP 地址
mysql.host=hadoop01
#数据库实例名
mysql.database=azkaban
#数据库用户名
mysql.user=root
#数据库密码
mysql.password=root
#最大连接数
mysql.numconnections=100

#执行服务器配置
#最大线程数
executor.maxThreads=50
#端口号(如修改,请与 web 服务中一致)
executor.port=12321
#线程数
executor.flow.threads=30
</code></pre><h3>配置环境变量</h3><pre><code>[hadoop@hadoop01 ~]$ vim /etc/profile

#/etc/profile
export AZKABAN_WEB_HOME=/home/hadoop/apps/azkaban/azkaban-web-2.5.0 
export AZKABAN_EXE_HOME=/home/hadoop/apps/azkaban/azkaban-executor-2.5.0 
export PATH=$PATH:$AZKABAN_WEB_HOME/bin:$AZKABAN_EXE_HOME/bin 
</code></pre><h3>启动</h3><p>启动 web 服务器</p><pre><code>nohup azkaban-web-start.sh 1>/home/hadoop/azwebstd.out 2>/home/hadoop/azweberr.out &
</code></pre><p>启动执行服务器</p><pre><code>nohup azkaban-executor-start.sh 1>/home/hadoop/azexstd.out 2>/home/hadoop/azexerr.out &
</code></pre><p>在浏览器中输入：<span class="external-link">https://hadoop01<i data-feather="external-link"></i></span>:8443/<br /><img src="http://www.lyafei.com/usr/uploads/2020/02/2248439781.png" alt="login" title="login" class="aligncenter"style=""><br />看到以上界面表示安装成功！！！</p><h2>安装注意事项</h2><h3>绝对路径</h3><p>web.resource.dir 项的值要使用绝对路径，否则 web 页面因为加载不到css样式，会没有美丽的界面<br />user.manager.xml.file 项的值要使用绝对路径，否则启动的时候会报找不到文件的错误</p><h3>邮箱预警</h3><p>mail.sender、mail.host、mail.user、mail.password 这四项每一项配置都不能少，端口可以不配置，而且 mail.sender 和 mail.user 的值是一样的，少一项或者配错一项都会报出错误，错误信息如下：</p><pre><code>ERROR [EmailMessage] [Azkaban] Connecting to SMTP server failed, attempt: 0 
javax.mail.AuthenticationFailedException: 500 Error: bad syntax
    at com.sun.mail.smtp.SMTPTransport$Authenticator.authenticate(SMTPTransport.java:823)
    at com.sun.mail.smtp.SMTPTransport.authenticate(SMTPTransport.java:756)
    at com.sun.mail.smtp.SMTPTransport.protocolConnect(SMTPTransport.java:673)
    at javax.mail.Service.connect(Service.java:295)
    at azkaban.utils.JavaxMailSender.connect(JavaxMailSender.java:34)
    at azkaban.utils.EmailMessage.connectToSMTPServer(EmailMessage.java:220)
    at azkaban.utils.EmailMessage.retryConnectToSMTPServer(EmailMessage.java:230)
    at azkaban.utils.EmailMessage.sendEmail(EmailMessage.java:213)
    at azkaban.utils.Emailer.sendEmail(Emailer.java:220)
    at azkaban.utils.Emailer.alertOnSuccess(Emailer.java:153)
    at azkaban.executor.selector.ExecutionControllerUtils.alertUser(ExecutionControllerUtils.java:123)
    at azkaban.executor.ExecutionFinalizer.finalizeFlow(ExecutionFinalizer.java:98)
    at azkaban.executor.RunningExecutionsUpdater.updateExecutions(RunningExecutionsUpdater.java:131)
    at azkaban.executor.RunningExecutionsUpdaterThread.run(RunningExecutionsUpdaterThread.java:54)
</code></pre><h3>plugins/jobtypes配置</h3><p>azkaban.jobtype.plugin.dir=plugins/jobtypes 这一项一定要配置，并且创建文件夹，不然会报错，错误信息如下：</p><pre><code>ERROR [FlowTriggerScheduler] [Azkaban] unable to get scheduled flow triggers 
java.lang.NullPointerException
    at azkaban.flowtrigger.quartz.FlowTriggerScheduler.getScheduledFlowTriggerJobs(FlowTriggerScheduler.java:132)
    at azkaban.webapp.servlet.FlowTriggerServlet.handlePage(FlowTriggerServlet.java:140)
    at azkaban.webapp.servlet.FlowTriggerServlet.handleGet(FlowTriggerServlet.java:55)
    at azkaban.webapp.servlet.LoginAbstractAzkabanServlet.doGet(LoginAbstractAzkabanServlet.java:123)
    at javax.servlet.http.HttpServlet.service(HttpServlet.java:668)
    at javax.servlet.http.HttpServlet.service(HttpServlet.java:770)
    at org.mortbay.jetty.servlet.ServletHolder.handle(ServletHolder.java:511)
    at org.mortbay.jetty.servlet.ServletHandler.handle(ServletHandler.java:401)
    at org.mortbay.jetty.servlet.SessionHandler.handle(SessionHandler.java:182)
    at org.mortbay.jetty.handler.ContextHandler.handle(ContextHandler.java:766)
    at org.mortbay.jetty.handler.HandlerWrapper.handle(HandlerWrapper.java:152)
    at org.mortbay.jetty.Server.handle(Server.java:326)
    at org.mortbay.jetty.HttpConnection.handleRequest(HttpConnection.java:542)
    at org.mortbay.jetty.HttpConnection$RequestHandler.headerComplete(HttpConnection.java:928)
    at org.mortbay.jetty.HttpParser.parseNext(HttpParser.java:549)
    at org.mortbay.jetty.HttpParser.parseAvailable(HttpParser.java:212)
    at org.mortbay.jetty.HttpConnection.handle(HttpConnection.java:404)
    at org.mortbay.jetty.bio.SocketConnector$Connection.run(SocketConnector.java:228)
    at org.mortbay.jetty.security.SslSocketConnector$SslConnection.run(SslSocketConnector.java:713)
    at org.mortbay.thread.QueuedThreadPool$PoolThread.run(QueuedThreadPool.j
</code></pre><p>或者报 native executor not 存在。</p><h3>Multiple Executor</h3><p>Multiple Executor的几项必须配置，不然的话会报出以下错误：</p><pre><code>ERROR [StdOutErrRedirect] [Azkaban] Exception in thread "main"
ERROR [StdOutErrRedirect] [Azkaban] java.lang.IllegalArgumentException: azkaban.use.multiple.executors must be true. Single executor mode is not supported any more.
ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.ExecutorManager.checkMultiExecutorMode(ExecutorManager.java:240)
ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.ExecutorManager.setupExecutors(ExecutorManager.java:229)
ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.ExecutorManager.initialize(ExecutorManager.java:155)
ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.ExecutorManager.start(ExecutorManager.java:168)
ERROR [StdOutErrRedirect] [Azkaban] at azkaban.webapp.AzkabanWebServer.launch(AzkabanWebServer.java:235)
ERROR [StdOutErrRedirect] [Azkaban] at azkaban.webapp.AzkabanWebServer.main(AzkabanWebServer.java:226)
</code></pre><h3>executor</h3><p>如果web启动报错，没有活跃得executor，那么需要去数据库中手动修改native状态为1。</p><h3>Mysql权限</h3><p>咱们使用MySQL都会有特殊的权限限制，能通过特定的用户，但是经过几次的安装集群后发现，最初hadoop平台搭建的时候，这个MySQL的授权操作还得自己来。<br />只有拥有特定权限的用户才能执行特定的操作。</p><pre><code>GRANT SELECT,INSERT,UPDATE,DELETE ON <database>.* to '<username>'@'%' WITH GRANT OPTION;
#privileges：用户的操作权限，如SELECT，INSERT，UPDATE等，如果要授予所的权限则使用ALL
#databasename：数据库名
#tablename：表名，如果要授予该用户对所有数据库和表的相应操作权限则可用*表示，如 *.*

#授权之后一般都会刷新该操作：
flush privileges;

#撤销授权：
REVOKE privilege ON databasename.tablename FROM 'username'@'host';
</code></pre><h3>derby</h3><p>如果出现以下报错：</p><pre><code>java.lang.NoClassDefFoundError: Could not initialize class org.apache.derby.jdbc.AutoloadedDriver40
</code></pre><p>原因是：在 azkaban 的 server 和 executor 中缺少一个叫 derby.jar 的包，解决办法如下：</p><pre><code>cp $JAVA_HOME/db/lib/derby.jar $AZKABAN_WEB_HOME/extlib
cp $JAVA_HOME/db/lib/derby.jar $AZKABAN_EXE_HOME/extlib
</code></pre>

Azkaban安装

Azkaban安装

安装包

解压安装包

Azkaban脚本导入

创建SSL配置

修改配置文件

配置环境变量

启动

安装注意事项

绝对路径

邮箱预警

plugins/jobtypes配置

Multiple Executor

executor

Mysql权限

derby

live/msn等微软绝版邮箱详细的注册教程

欢迎使用 Typecho

一个功能强大又好用的RSS订阅器：FreshRSS安装教程

使用Aria2下载BT磁力的时候，速度慢或者没速度的解决方法

VPS使用BaiduPCS-Go高速下载百度网盘的文件，支持上传/离线下载等操作

酸酸乳 | SwitchyOmega | 使用

JS点击更换图片

Win10 下 Anaconda 配置 TensorFlow+PaddlePaddle GPU版本

文件上传（一）基于前端js的破解

本地安装VMware运行Centos6.8并使用XShell管理

Azkaban安装