脚本下载网页



我制作了一个网络服务器以在本地显示我的页面,因为位于连接差的地方我使此脚本在后台运行,但我不确定这是否会24/7(2M只是为了测试它,但我希望它等待6-12小时),所以,¿想想这个脚本吗?是不安全的吗?还是我正在做的事情足够了?谢谢。

#!/bin/bash
a=1;
while [ $a -eq 1 ]
do
echo "Starting..."
sudo wget http://www.example.com/web.zip  --output-document=/var/www/content.zip
sudo unzip -o /var/www/content.zip -d /var/www/
sleep 2m
done
exit

更新:我现在使用此代码:(只是一个原型,但我假装不使用sudo)

#!/bin/bash
a=1;
echo "Start"
while [ $a -eq 1 ]
do
echo "Searching flag.txt"
if [ -e flag.txt ]; then
    echo "Flag found, and erasing it"
    sudo rm flag.txt
    if [ -e /var/www/content.zip ]; then
    echo "Erasing old content file"
        sudo rm /var/www/content.zip
    fi
    echo "Downloading new content"
    sudo wget ftp://user:password@xx.xx.xx.xx/content/newcontent.zip  --output-document=/var/www/content.zip
    sudo unzip -o /var/www/content.zip -d /var/www/
    echo "Erasing flag.txt from ftp"
    sudo ftp -nv < erase.txt
    sleep 5s
else
    echo "Downloading flag.txt"
    sudo wget ftp://user:password@xx.xx.xx.xx/content/flag.txt
    sleep 5s
fi
echo "Waiting..."
sleep 20s
done
exit 0

erase.txt

open xx.xx.xx.xx
user user password
cd content
delete flag.txt
bye

我建议设置一个cron作业,这比具有巨大 sleeps。

的脚本要可靠得多。

简短说明:

如果您有/var/www/的写入权限,只需将下载放入您的个人crontab中即可。运行crontab -e,粘贴此内容,保存并退出编辑器:

17 4,16 * * * wget http://www.example.com/web.zip --output-document=/var/www/content.zip && unzip -o /var/www/content.zip -d /var/www/

或者您可以从System Crontab下载下载。创建文件/etc/cron.d/download-my-site并将此内容放入:

17 4,16 * * * <USERNAME> wget http://www.example.com/web.zip --output-document=/var/www/content.zip && unzip -o /var/www/content.zip -d /var/www/

用具有适合/var/www的权限的登录名替换<USERNAME>

,或者您可以将所有必要的命令放入单个shell脚本中:

#!/bin/sh
wget http://www.example.com/web.zip --output-document=/var/www/content.zip
unzip -o /var/www/content.zip -d /var/www/

并从crontab调用它:

17 4,16 * * * /path/to/my/downloading/script.sh

这项任务每天将两次运行:4:17和16:17。如果您愿意,可以设置另一个时间表。

更多关于Cron Jobs,crontabs等的信息:

  • 将作业添加到cron
  • cronhowto on ubuntu
  • cron(wikipedia)

简单的 unzip ping您的内容的新版本超过旧版本可能不是最好的解决方案。如果您从网站上删除文件怎么办?本地副本仍将拥有。另外,使用基于ZIP的解决方案,您每次复制时都会复制每个文件,而不仅仅是更改的文件。

我建议您改用rsync,以同步您的网站内容。

如果将本地documentroot设置为诸如/var/www/mysite/之类的东西,那么替代脚本可能会看起来像这样:

#!/usr/bin/env bash
logtag="`basename $0`[$$]"
logger -t "$logtag" "start"
# Build an array of options for rsync
#
declare -a ropts
ropts=("-a")
ropts+=(--no-perms --no-owner --no-group)
ropts+=(--omit-dir-times)
ropts+=("--exclude ._*")
ropts+=("--exclude .DS_Store")
# Determine previous version
#
if [ -L /var/www/mysite ]; then
    linkdest="$(stat -c"%N" /var/www/mysite)"
    linkdest="${linkdest##*`}"
    ropts+=("--link-dest '${linkdest%'}'")
fi
now="$(date '+%Y%m%d-%H:%M:%S')"
# Only refresh our copy if flag.txt exists
#
statuscode=$(curl --silent --output /dev/stderr --write-out "%{http_code}" http://www.example.com/flag.txt")
if [ ! "$statuscode" = 200 ]; then
    logger -t "$logtag" "no update required"
    exit 0
fi
if ! rsync "${ropts[@]}" user@remoteserver:/var/www/mysite/ /var/www/"$now"; then
    logger -t "$logtag" "rsync failed ($now)"
    exit 1
fi
# Everything is fine, so update the symbolic link and remove the flag.
#
ln -sfn /var/www/mysite "$now"
ssh user@remoteserver rm -f /var/www/flag.txt
logger -t "$logtag" "done"

此脚本使用一些外部工具,如果它们尚未在系统上,则可能需要安装这些工具:

  • rsync,您已经阅读了
  • curl,可以用wget代替..但是我更喜欢卷发
  • Logger,它可能与Syslog或rsyslog一起安装在系统中,或者根据您的Linux发行版,可能是" Unix-util"软件包的一部分。

rsync提供了许多有用的功能。特别是:

  • 它试图仅复制已更改的内容,因此您不会在相同的文件上浪费带宽,
  • --link-dest选项可让您参考以前的目录,以创建"链接"到尚未更改的文件,因此您只能使用未更换的文件的单个副本拥有多个目录的副本。

为了进行此操作,rsync零件和ssh零件都需要设置允许您连接而无需密码的SSH键。这并不难,但是如果您还不知道,这是一个不同问题的话题。或者使用您喜欢的搜索引擎进行简单的搜索。

您可以每5分钟从crontab运行它:

*/5 * * * * /path/to/thisscript

如果您想更频繁地运行它,请注意,您将在每张 not> not 的支票中使用的"流量"涉及更新是Flag.txt文件的http。<<

相关内容

  • 没有找到相关文章