Aspera和Aspera_cli软件的安装和使用
- Aspera和Aspera_cli软件
- NCBI数据库和EBI-ENA数据库的下载用户和地址信息
- 1. ASpera 4.X.X
- 1.1 ASpera 4.X.X安装
- 1.2 ASpera 4.X.X密钥文件
- 1.3 ASpera 4.X.X简单使用
- 2. ASpera 3.X.X
- 2.1 ASpera 3.X.X安装
- 2.2 ASpera 3.X.X密钥文件
- 2.3 ASpera 3.X.X简单使用
- 3. Aspera_cli
- 3.1 Aspera_cli安装
- 3.2 Aspera_cli简单使用
Aspera和Aspera_cli软件
两个都是从NCBI数据库和EBI-ENA数据库高速下载数据的软件。
①ASpera 4.X.X,两个数据库都不能下载
②ASpera 3.X.X,NCBI数据库可以下载,EBI-ENA数据库不能下载
③Aspera_cli,两个数据库都可以下载
以上三种软件,能否下载只与我当时用时的网络状态相关,可能你用的时候就能下载了。
能不能下载也和运气相关,晚上可能会好点,可能网站最近维护,校园网之类,毕竟这是外网。
NCBI数据库和EBI-ENA数据库的下载用户和地址信息
NCBI数据库官网:https://ftp.ncbi.nlm.nih.gov/
下载需要的用户和地址信息:anonftp@ftp.ncbi.nlm.nih.gov:/blast/db/FASTA/nr.gz
EBI-ENA数据库官网:http://ftp.sra.ebi.ac.uk/
两种情况:
测序数据下载需要的用户和地址信息:fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/SRR885/002/SRR8858432/SRR8858432_subreads.fastq.gz
其他数据下载需要的用户和地址信息:fasp-ebi@fasp.ebi.ac.uk:/databases/Pfam/current_release/Pfam-A.hmm.gz
1. ASpera 4.X.X
1.1 ASpera 4.X.X安装
ASpera官网:https://www.ibm.com/aspera/connect/
目前只能下载最新版本4.2.7
点击Linux,得到安装包:ibm-aspera-connect_4.2.7.445_linux_x86_64.tar.gz
#开始安装
cd /home/zhaohuiyao/Biosoft
#上传安装包(ibm-aspera-connect_4.2.7.445_linux_x86_64.tar.gz)
#或者直接下载安装包wget https://d3gcli72yxqn2z.cloudfront.net/downloads/connect/latest/bin/ibm-aspera-connect_4.2.7.445_linux_x86_64.tar.gz
tar -zxvf ./ibm-aspera-connect_4.2.7.445_linux_x86_64.tar.gz
./ibm-aspera-connect_4.2.7.445_linux_x86_64.sh
#注意该软件root用户不能安装,需要使用普通用户安装
#安装成功
#可执行文件位置:/home/zhaohuiyao/.aspera/connect/bin/ascp
1.2 ASpera 4.X.X密钥文件
密钥文件位置:/home/zhaohuiyao/.aspera/connect/etc/。只有一个aspera_tokenauth_id_rsa
1.3 ASpera 4.X.X简单使用
cd /home/zhaohuiyao/Database/
#下载NCBI数据库数据
/home/zhaohuiyao/.aspera/connect/bin/ascp -v -QT -l 400m -k1 -i /home/zhaohuiyao/.aspera/connect/etc/aspera_tokenauth_id_rsa anonftp@ftp.ncbi.nlm.nih.gov:/blast/db/FASTA/nr.gz ./
#报错如下
#下载EBI-ENA数据库数据
/home/zhaohuiyao/.aspera/connect/bin/ascp -v -QT -l 400m -k1 -i /home/zhaohuiyao/.aspera/connect/etc/aspera_tokenauth_id_rsa fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/SRR885/002/SRR8858432/SRR8858432_subreads.fastq.gz ./
/home/zhaohuiyao/.aspera/connect/bin/ascp -v -QT -l 400m -k1 -i /home/zhaohuiyao/.aspera/connect/etc/aspera_tokenauth_id_rsa fasp-ebi@fasp.ebi.ac.uk:databases/Pfam/current_release/Pfam-A.hmm.gz ./
#报错如下
#两种数据库都不可以
2. ASpera 3.X.X
2.1 ASpera 3.X.X安装
ASpera官网:https://www.ibm.com/aspera/connect/
我之前下载了ibm-aspera-connect-3.11.1.58-linux-g2.12-64.tar.gz,目前在官网哪里下载,没有细究
安装流程与上面4.X.X版本一致
2.2 ASpera 3.X.X密钥文件
密钥文件位置:/home/zhaohuiyao/.aspera/connect/etc/。有三个aspera_tokenauth_id_rsa、asperaweb_id_dsa.openssh、asperaweb_id_dsa.putty
2.3 ASpera 3.X.X简单使用
cd /home/zhaohuiyao/Database/
#下载NCBI数据库数据
/home/zhaohuiyao/.aspera/connect/bin/ascp -v -QT -l 400m -k1 -i /home/zhaohuiyao/.aspera/connect/etc/asperaweb_id_dsa.openssh anonftp@ftp.ncbi.nlm.nih.gov:/blast/db/FASTA/nr.gz ./
#成功下载
#下载EBI-ENA数据库数据
/home/zhaohuiyao/.aspera/connect/bin/ascp -v -QT -l 400m -k1 -i /home/zhaohuiyao/.aspera/connect/etc/asperaweb_id_dsa.openssh fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/SRR885/002/SRR8858432/SRR8858432_subreads.fastq.gz ./
/home/zhaohuiyao/.aspera/connect/bin/ascp -v -QT -l 400m -k1 -i /home/zhaohuiyao/.aspera/connect/etc/asperaweb_id_dsa.openssh fasp-ebi@fasp.ebi.ac.uk:databases/Pfam/current_release/Pfam-A.hmm.gz ./
#报错如下
#发现NCBI数据库可以,但EBI-ENA数据库不可以
3. Aspera_cli
3.1 Aspera_cli安装
conda安装,简答方便
因为安装包安装过程中出现了报错,/usr/bin/env: “ruby -EUTF-8:UTF-8”: 没有那个文件或目录。没有解决掉。
conda create -n aspera-cli
conda activate aspera-cli
conda install -y -c hcc aspera-cli
conda deactivate
3.2 Aspera_cli简单使用
conda activate aspera-cli
cd /home/zhaohuiyao/Database/
#下载NCBI数据库数据
ascp -i /home/zhaohuiyao/miniconda3/pkgs/aspera-cli-3.9.6-h5e1937b_0/etc/asperaweb_id_dsa.openssh -l 200M -k 1 -T anonftp@ftp.ncbi.nlm.nih.gov:/blast/db/nr.00.tar.gz ./
#成功下载
#下载EBI-ENA数据库数据
ascp -i /home/zhaohuiyao/miniconda3/pkgs/aspera-cli-3.9.6-h5e1937b_0/etc/asperaweb_id_dsa.openssh -l 200M -k 1 -T fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/SRR885/002/SRR8858432/SRR8858432_subreads.fastq.gz ./
ascp -i /home/zhaohuiyao/miniconda3/pkgs/aspera-cli-3.9.6-h5e1937b_0/etc/asperaweb_id_dsa.openssh -l 200M -k 1 -T fasp-ebi@fasp.ebi.ac.uk:databases/Pfam/current_release/Pfam-A.hmm.gz ./
#成功下载