r语言 - 使用 bash 脚本从在线数据库下载文件

Question

我想从在线数据库下载一些文件，但它不允许我一次下载所有文件。 相反，它提供下载搜索关键字的文件。 因为我有超过20000个关键字，这对我来说是不可行的。例如，我想从SarBase下载有关miRNA-mRNA相互作用的全部信息，但它不提供一次下载所有信息的选项。我想知道，如何通过编写一些脚本来下载它。有人可以帮助我吗？

Answer 1

创建一个名为 getdb.sh 的文件。

#!/bin/bash
echo "Download keywords in kw.txt."
for kw in $(cat kw.txt)
do
    curl http://www.mirbase.org/cgi-bin/get_seq.pl?acc=$kw > $kw.txt
done

创建另一个名为 kw.txt 的文件：

MI0000342
MI0000343
MI0000344

然后运行这个

$ chmod +x getdb.sh
$ ./getdb.sh
Download keywords in kw.txt.
$ ls -1 *.txt
kw.txt
MI0000342.txt
MI0000343.txt
MI0000344.txt

Answer 2

另一种方式

cat kw.txt |xargs -i curl -o {}.txt http://www.mirbase.org/cgi-bin/get_seq.pl?acc={}