我目前正在使用HDFS，Apache Livy和Django，其目标是发送一个请求来运行一些存储在HDFS中的代码，并调用Livy来创建批处理。目前，一切正常，我在HDFS中存储了一个基本的字数，带有一个.txt文件，在htlm页面上，我只有一个简单的按钮可以单击以启动整个过程。
我成功地创建了字数统计结果，下一步是从 Livy 获取信息，例如当前开始/运行/死亡/成功的会话(或批次(的 ID 某种回调，但我需要它自我实现，这样我就可以知道每个会话处于什么状态。为此，我认为我可以使用 Django-cron，因此我无法正确设置它。我没有错误，但没有更多的事情发生。我错过了什么？
目前正在开发 Centos7，但我使用的是 Python 3.6 中的 Conda 环境，带有 Django 最新版本，livy 和 HDFS(最新版本(也是如此。
这是我当前的文件：
李维.html
{% load static %}
<html>
<body>
<div id="div1">
{{result.sessions}}
</div>
<form action="#" method="get">
<input type="text" name="mytextbox" />
<input type="submit" class="btn" value="Click" name="mybtn">
</form>
</body>
</html>
views.py
from django.shortcuts import render
from django.http import HttpResponse
from django_cron import CronJobBase, Schedule
import wordcount, livy
# Create your views here.
class CheckIdCronJob(CronJobBase):
RUN_EVERY_MINS = 1 # every minute
schedule = Schedule(run_every_mins=RUN_EVERY_MINS)
code = 'button.CheckIdCronJob' # a unique code
def index(request):
if(request.GET.get('mybtn')):
r = livy.send(request.GET.get('mytextbox')) #(/test/LICENSE.txt)
return render(request,'button/livy.html', {'result':r})
return render(request,'button/livy.html')
livy.py
import json, pprint, requests, textwrap
def send(inputText):
host = 'http://localhost:8998'
data = {"file":"/myapp/wordcount.py", "args":[inputText,"2"]}
headers = {'Content-Type': 'application/json'}
r = requests.post(host + '/batches', data=json.dumps(data), headers=headers)
r = requests.get(host + '/batches' + '', data=json.dumps(data), headers=headers)
return r.json()
django-crontab 所做的只是让编写运行作业的管理命令变得容易，并指定这些作业应该运行的频率/时间。您最终会得到一个管理命令./manage.py runcron，该命令将检查您的所有作业并在需要时运行它们。
它没有做的是持续runcron，如果你想确保你的工作在正确的时刻运行，这就是你实际需要的。例如，基本上，您希望runcron每分钟运行一次(或者如果时间不是那么关键，则每 10 分钟运行一次(，因此您仍然需要使用一些系统守护程序来执行此操作。
crontab在 CentOS 上可用，并可用于此目的。django-crontab 的安装向您展示了一个如何创建每 5 分钟运行一次runcroncrontab 的示例：
crontab -e
*/5 * * * * source /home/ubuntu/.bashrc && source /home/ubuntu/work/your-project/bin/activate && python /home/ubuntu/work/your-project/src/manage.py runcrons > /home/ubuntu/cronjob.log
您必须对其进行调整以适应您的用例：
如果您只是执行
crontab -e ...则作业将以您当前登录的用户身份运行。这可能不是运行manage.py命令的正确用户，因为该用户需要具有正确的权限才能运行项目。使用-u user为其他用户制作 crontab。在生产环境中运行时，这实际上是一件复杂的事情：获取正确的用户权限并让正确的用户运行各种任务。通常，你会有一个
www-data或apache用户运行你的服务器(因此是django应用程序(，并且你希望同一个用户运行manage.py命令。运行 apache 不应该root，因为这会带来安全风险(您的 Web 服务器将具有对整个系统的完全访问权限(。- 上面的命令来源.bashrc以确保环境变量设置正确。/home/ubuntu/只是用户
ubuntu的用户主目录。适当地更改此设置。 - 上述命令还会激活 virtualenv，以便 manage.py 命令可以使用所有正确的依赖项运行。根据您的虚拟环境调整路径。
- 最后，您需要确保激活正确的 Django 设置，方法是设置DJANGO_SETTINGS_MODULE环境变量(您可以在.bashrc中执行此操作，因此更早
source(，或者通过将--settings path.to.settings选项传递给manage.py。 - 最后一部分是将任务的输出定向到日志文件，以便您可以在出现问题时进行故障排除。请在末尾添加
2>&1，以便 cron 错误 (stderr( 也定向到同一日志。
要检查您的 crontab，请运行crontab -l(针对当前登录的用户(或crontab -l -u user其他用户。