使用Bioconda辅助生物信息学软件安装
2018-01-30
Andrew Perry,
Monash Bioinformatics Platform
王诗翔（译）
依照：https://github.com/XSLiuLab/bioconda-tutorial/blob/master/Bioconda_Installation.ipynb
否认声明：当我在谈论这件事的时候，我不会假装自己是一个Conda或Bioconda的专家。
这是我基于Simon Gladman, Saskia Hiltemann and Eric Rasche提供的一个工作坊"Packaging your bioinformatics tool with Bioconda and Galaxy"进行的。
为什么使用Bioconda？¶
大型可获取生信软件生态系统，约250位贡献者。
- !!!--> http://bioconda.github.io/recipes.html <---!!!
Conda环境促进可重复性 - 一个
environment.yml文件可以记录工具版本（+构建号），它可以在其他地方稳定地重装。它是支持_Galaxy_工具安装方法，已经存在的包会进行维护并有新的软件加入。
质量控制 - 很好的文档指南（http://bioconda.github.io/guidelines.html），自动化测试、包构建（TravisCI / CircleCI）以及核心团队的合并审查。
- 有趣的事实： Bioconda食谱不盲目地信任工具上的版本号，它们使用源包的md5和sha256检验和。
Docker容器支持（Biocontainers项目）。
让我们从Bioconda安装Minicaonda和一些工具¶
Miniconda在你的家目录下和自己的Conda环境中安装conda包管理器（Miniconda是'Anaconda'的迷你版本）。
Miniconda可以通过以下链接查阅： https://conda.io/miniconda.html
# 下载Minoconda
cd ~
# macOS系统
curl -O https://repo.continuum.io/miniconda/Miniconda3-latest-MacOSX-x86_64.sh
# 或者在Linux系统上
# curl -O https://repo.continuum.io/miniconda/Miniconda3-latest-Linux-x86_64.sh
# 查看安装帮助
sh ./Miniconda3-latest-MacOSX-x86_64.sh --help
# 开始安装
sh ./Miniconda3-latest-MacOSX-x86_64.sh
# sh ./Miniconda3-latest-MacOSX-x86_64.sh -b
查看许可证（一直按 ENTER 键）然后键入'yes'。
安装器会将下面一行加入~/.bash_profile （-s选项可以禁止，Linux系统一般是加入~/.bashrc）。
export PATH="$HOME/miniconda3/bin:$PATH"
# 查看conda使用说明
conda --help
# 启用 bioconda 'channel' 和其他一些
conda config --add channels defaults
conda config --add channels conda-forge
conda config --add channels bioconda
# 国内可以添加清华镜像
conda config --add channels defaults
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/bioconda/
conda config --set show_channel_urls yes
# 更多请查看 https://mirrors.tuna.tsinghua.edu.cn/help/anaconda/
# 这是conda的配置文件，可以通过config命令修改
# 底部的channel优先
cat ~/.condarc
# 安装一些conda包
conda install -y seqtk
# samtools版本0.1.15构建号0
conda install -y samtools=0.1.15=0
# conda install kallisto
# conda install salmon=0.9.1 sailfish
# 看下包都被装在哪里了
ls ~/miniconda3/bin
使用环境¶
让我们创建和切换到一个新的环境，安装一些包，记录我们安装了什么，然后退出环境。
https://conda.io/docs/user-guide/tasks/manage-environments.html
# 创建一个新的Conda环境
conda create -y --name new_env
# 显式地启用环境
source activate new_env
# 安装一些包
conda install -y samtools=0.1.14
# 默认，环境位于 ~/miniconda3/envs
# 看一下
ls ~/miniconda3/envs/new_env/bin
which samtools
# 你可以将当前的环境导出为一个environment.yml文件
# 这有点像Python中的requirements.txt文件
# 保留你分析项目的environment.yml
conda env export >environment.yml
cat environment.yml
# 另外，如果你想要通过channel + version + build + md5检验和锁定准确的包版本
# 注意这里有平台特异性，但更好地保证了可重复性
conda list --show-channel-urls --md5 --explicit >package-list.txt
cat package-list.txt
# 你可以使用这些文件创建包含这些包的新环境
# 命令如下：
# conda create --name reproduced_env --file environment.yml
# conda create --name locked_reproduced_env --file package-list.txt
# 离开环境
source deactivate
apt, yum 等怎么样？¶
目标是系统级别的包 - 通常不能处理无权限的安装或者包版本的共存。
官方发行（Debian, Ubuntu, Centos）软件库很少能跟上生信软件的更新。非官方仓库有时候填补了空白（如Debian Med）。
创建包实在太复杂了。
modules, LMOD等怎么样？¶
很适合使用环境变量（即
PATH）来管理共存版本。LMOD环境可以“附加”（许多“modules”可以同时导入，不像conda环境）。
LMOD不是一个包管理器（处理不了下载/编译/安装）。
pip和virtualenv怎么样？¶
- 这两个都和Python一起的，对Python包和包生态非常好。
- 对非Python包不友好（二进制包和依赖）。
bio-ansible怎么样？¶
- bio-ansible因为是我们写的，所以非常棒。
- 不那么棒的地方是为了安装新的工具我们必须编写任务。
- 但是！bio-ansible 也支持安装
conda包为LMOD模块（我们可以轻松地从Bioconda添加任何东西）。
- 但是！bio-ansible 也支持安装
- 支持无权限软件在家目录中安装、系统包和配置。
- 通过LMOD模块支持版本共存。
- 学习成本高。
我发现Conda没有处理好的一些事情¶
- 没有官方支持'stacking'环境和ala LMOD。
- 我们该关心吗？软件比较小、硬盘空间便宜，让环境用所需的不同工具版本进行组合。
- 非官方添加
max_shlvl: 16到~/.condarc可以支持（YMMV）(https://github.com/conda/conda/issues/3580)。
- 构建包的食谱指明依赖名但没有依赖来自的channel名。
- 没有从源安装的方法（例如
conda install https://github.com/me/my_recipe）、预编译二进制文件？- 考虑和拒绝的功能特性 https://github.com/conda/conda/issues/306
创建(Bio)conda包¶
让我们看一下_seqtk_的Bionconda食谱¶
https://github.com/bioconda/bioconda-recipes/tree/master/recipes/seqtk
build.sh¶
#!/bin/bash
export C_INCLUDE_PATH=${PREFIX}/include
export LIBRARY_PATH=${PREFIX}/lib
make all
mkdir -p $PREFIX/bin
cp -f seqtk $PREFIX/bin/
PREFIX是conda构建环境中的安装路径（在配置文件中你可能会使用configure --prefix=$PREFIX）
meta.yaml¶
package:
name: seqtk
version: 1.2
source:
fn: v1.2.tar.gz
url: https://github.com/lh3/seqtk/archive/v1.2.tar.gz
md5: 255ffe05bf2f073dc57abcff97f11a37
build:
number: 0
requirements:
build:
- gcc # [not osx]
- llvm # [osx]
- zlib
run:
- zlib
about:
home: https://github.com/lh3/seqtk
license: MIT License
summary: Seqtk is a fast and lightweight tool for processing sequences in the FASTA or FASTQ format
test:
commands:
- seqtk seq
构建一个食谱（普通conda方式）¶
cd ~
mkdir -p recipes/seqtk
# 创建你的build.sh和meta.yml
# 另见`conda skeleton`，它可以帮助生成特定包类型的模板
# vi recipes/seqtk/build.sh
# vi recipes/seqtk/meta.yaml
# 我们需要conda-build包构建包
conda install -y conda-build
# 一旦一个新的食谱创建了，我们就可以构建
conda build recipes/seqtk/
# 我们刚创建包的归档在哪里？
conda build recipes/seqtk/ --output
# 安装本地构建的包（使用'local' channel）
conda install -y --use-local seqtk
# 或者直接使用包的tar.bz2压缩包，或者存储它的http://链接
# conda install /Users/perry/miniconda3/conda-bld/osx-64/seqtk-1.2-0.tar.bz2
# conda install http://bioinformatics.erc.monash.edu/home/andrewperry/conda/seqtk-1.2-0.tar.bz2
# 步骤 2: 安装`anaconda-client`包
conda install anaconda-client
# 步骤 3: 登陆和上传
anaconda login
# use the path to the package reported by `conda build recipes/seqtk/ --output`
anaconda upload <path_to_package_bz2>
# 步骤 4: 测试包是否正常工作 —— 从你上传的channel上安装
conda uninstall bigdatascript
conda install -c https://conda.anaconda.org/pansapiens bigdatascript
Bioconda方式¶
http://bioconda.github.io/contributing.html
添加一个食谱并在本地测试。
第一步 - 打开 https://github.com/bioconda/bioconda-recipes 然后Fork仓库。
然后克隆你的Fork。
export MY_GIT_USERNAME=pansapiens
git clone https://github.com/${MY_GIT_USERNAME}/bioconda-recipes.git
cd bioconda-recipes
为你的食谱创建一个新的分支。
git branch mynewtool
git checkout mynewtool
编辑你的食谱。使用一个已经存在的食谱作为模板是一个很好的方式（也可以使用conda skeleton）。
vi recipes/mynewtool/meta.yaml
vi recipes/mynewtool/build.sh
git commit -a -m "Added new recipe for mynewtool."
激活TravisCI环境进行测试。
# 这个Bioconda脚本会创建一个新的Miniconda安装
./simulate-travis.py --bootstrap /tmp/anaconda --overwrite
# 构建你的食谱并运行测试
# --packages 是可选选项，只有版本和构建改变的食谱会构建
./simulate-travis.py --disable-docker --packages mynewtool --force
如果测试通过，提交commit并推送到远程分支。
git push origin
- 到 https://github.com/bioconda/bioconda-recipes 创建一个合并请求。
- TravisCI 会自动构建你的分支。
- 如果 TravisCI 测试通过，Bioconda团队会审查你的合并请求，查看是否可以合并。
- Bioconda主分支的食谱会自动在Linux和macOS系统上构建并上传到Anaconda的
biocondachannel上。