下载百度网盘数据至服务器（bypy + aria2）

文章目录

• 下载百度网盘数据至服务器（bypy + aria2）
• • bypy + aria2
  • • • 1. 安装
      • 2. 获取自身百度网盘的授权码
      • 3. 基础使用
      • 4. Aria2 加速
  • 参考

下载百度网盘数据至服务器（bypy + aria2）

生物信息学研究通常需要处理大量的数据集，如基因组序列、RNA-Seq 数据、蛋白质结构等，而这些数据往往被测序公司放置在百度网盘中。

使用 bypy 可以方便地从百度网盘获取这些数据，并将其下载到服务器进行进一步分析，确保数据管理的高效性和组织性。aria2 作为一个高效的下载工具，支持多线程下载，可以显著提高大文件的下载速度，同时如果网络中断或出现其他问题，aria2 支持断点续传，确保了下载的完整性和可靠性，对于长时间的下载任务可以避免重复下载已完成的部分。

结合使用 bypy 和 aria2 下载百度网盘数据至服务器极大地提升了数据获取的效率。

bypy + aria2

1. 安装

conda create -n aria2
conda activate aria2
# conda install -c conda-forge pip
conda install -c conda-forge aria2
pip install bypy

2. 获取自身百度网盘的授权码

输入 bypy info 会提示需要访问网址获取 API key（需要用百度网盘账号登录），然后复制或输入到命令行中即可。

bypy info
# Please visit:
# https://openapi.baidu.com/oauth/2.0/authorize?scope=basic+netdisk&redirect_uri=oob&response_type=code&client_id=q8WE4EpCsau1oS0MplgMKNBn
# And authorize this app
# Paste the Authorization Code here within 10 minutes.
# Press [Enter] when you are done

输入 Key 之后回车确认，如果提示 Successfully authorized 并且列出空间使用情况即成功。

3. 基础使用

bypy 命令结构很简单，就是 bypy [操作]，操作除了上面的 info 之外，常用的还有 list、download、upload。

# 查看文件
bypy list

# 上传文件
bypy upload [localpath] [remotepath]

# 下载文件
bypy downfile <remotefile> [localpath]

# 下载文件夹
bypy downdir [remotedir] [localdir]

# 取消授权
bypy -c

注意：下载转存的文件需要放置在 我的应用数据 下的 bypy 文件夹中。

4. Aria2 加速

默认情况下 bypy 没有调用 aria2 下载，此时下载速度不能最大化，因此需要先配置 aria2。bypy 默认配置的 aria2 使用 4 个连接数下载，可以修改成最大的 16。此处可以使用参数 –downloader aria2 让 bypy 调用 aria2 下载，–downloader-arguments 来设置 aria2 的参数，默认为 '-c -k10M -x4 -s4 –file-allocation=none'。

bypy –downloader aria2 download <remotefile> [localpath]
bypy –downloader aria2 download [remotedir] [localdir]

# 修改参数使速度最大化
bypy –downloader aria2 –downloader-arguments='-c -k10M -x16 -s16 –file-allocation=none' download <remotefile> [localpath]

参考

• 『 百度网盘下载之bypy』 有槽必吐 – 不吐槽，毋宁死 (tsukkomi.org)：https://tsukkomi.org/post/download-baidu-pan-with-bypy
• Centos系统下bypy+aria2下载百度网盘实现百度云转存方案 – 天下无鱼-资源博客 (shikey.com)：https://shikey.com/2020/07/10/baidu-to-google-drive-onedrive.html