RAG_EMBEDDING_MODEL=/models/huggingface/hub/models--sentence-transformers--all-MiniLM-L6-v2/snapshots/44eb4044493a3c34bc6d7faae1a71ec76665ebc6
OLLAMA_BASE_URL=http://192.168.30.218:11434
OLLAMA_BASE_URLA=http://192.168.30.218:11434
OLLAMA_BASE_URLS=http://192.168.30.218:11434

LOCAL_DATA_FOLDER=/app/backend/load_data
RAG_EMBEDDING_MODEL=nomic-embed-text
RAG_SIMILARITY_TOP_K=2
RAG_RERANK_ENABLED=
RAG_RERANK_MODEL=cross-encoder/ms-marco-MiniLM-L-2-v2
RAG_RERANK_TOP_N=1
RAG_TOKENIZER=/models/cache/models--mistralai--Mistral-7B-Instruct-v0.2
PG_HOST=postgres.genostack-base.svc.cluster.local
PG_PORT=5432
PG_USER=postgres
PG_DATABASE=qiime
PG_PASSWORD=anneng%401235_Jike2015
PG_SCHEMA_NAME=ling_an

-- git remote add {remote名称} {新git repo的仓库地址}
git remote add git135 http://192.168.0.135:30080/genostack-app/ms-monocle2.git

2. 将代码及注释信息都上传

git push --set-upstream git135 master

此时 git push 会同时提交两个仓库,
只往一个仓库提交 使用 git push {remote名称} 即可

3. (可选)恢复remote

git remote rm origin
git remote add origin http://192.168.0.135:30080/genostack-app/ms-monocle2.git
git remote rm git135

项目环境搭建

1. 创建 conda 环境

推荐使用 conda 进行环境的隔离,安装时使用mamba安装 速度比较快

ENV_NAME="设置对应项目的环境名称" # 建议项目名和环境名相同

# 统一使用py3.10版本，可以根据项目的不同使用其他的版本，
# 这里展示大部分项目环境的初始化过程，仅供参考
mamba create -n ${ENV_NAME} python=3.10 -y 
mamba activate ${ENV_NAME}
mamba install r-base=4.3 nodejs=18 -y
# r-base 4.3.0, nodejs 18.16.1
# 没有R的依赖可不安装r-base;  nodejs用于前端项目, 全局安装 nodejs 时此处可不安装

2. 安装前端依赖

# 前端需要的全局依赖 vue 脚手架(5.0.8版本)
# 这里我安装到对应项目目录下，可根据情况全局安装（增加 -g 参数）
npm i @vue/cli -g 

# 安装前端项目依赖
npm i

# 后台使用的是打包后的文件
npm run build

3. 安装后端依赖

# 安装必要的全局依赖
pip install -r docs/docker_base_v01/requirements.txt

# 根据项目使用包的情况安装必要依赖
conda install r-xxx -c conda-forge -y
pip install -r requirements.txt

# 安装公共sdk工具包,安装指定版本
pip install ms-jk-utils=x.x.x

问题记录

1. 如果遇到 notarget No matching version found for @babel/parser@^7.22.7. 错误

检查 nodejs >16.20 ，npm >9.6.6 , vue 5.0.8 版本，
检查 镜像地址是否修改为 私服镜像 npm config set registry=http://registry.npmjs.org

配置私服下载sdk包

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
pip config set global.extra-index-url https://repository.genostack.com/repository/pypi-group/simple
pip install ms-jk-utils==1.0.9

项目最好指定具体的版本， 本安装包尽可能以向下兼容的方式开发升级

项目反射注入的接口说明

1. sample

2. submit

3. download

4. read_file

5. get_params

6. upload_file

7. upload_files

8. get_template_config

        mod.bp.route("/sample", methods=['POST'])(sample)
        mod.bp.route("/submit", methods=['POST'])(submit)
        mod.bp.route("/download", methods=['POST'])(download)
        mod.bp.route("/read_file", methods=['POST'])(read_file)
        mod.bp.route("/get_params", methods=['POST'])(get_params)
        mod.bp.route("/upload_file", methods=['POST'])(upload_file)
        mod.bp.route("/upload_files", methods=['POST'])(upload_files)
        mod.bp.route("/get_template_config", methods=['POST'])(get_template_config)

本文档用来记录上传服务项目内容

配置文件参考

instance/config.py

PORT = 5000
# 该配置为服务器上规划的一个文件夹目录
PLATFORM_DATA_DIR = "/home/lx/services/public_data"

Note: 在镜像启动时需要使用 -v 将PLATFORM_DATA_DIR 配置的路径1：1映射进来
且其他微服务也需要映射该目录

Note: 上传微服务使用的端口需要记住，其他项目中需要通过配置 UPLOAD_API_URL = f"http://172.17.0.1:5041/api_upload" 来使用该服务，这里使用docker的网段

关于视图的详细说明

1.

项目视图必须位于项目 app/views 下

2.

视图的识别规则有两种

1. 识别 app/views 目录下的package中的bp对象
   目录结构如下：

app/views
├── __init__.py
├── ms_jk
│   ├── bubble.py
│   ├── get_col_list.py
└─└── __init__.py # <= 此文件中的bp对象会识别为蓝图对象,且路由前缀为 ms_jk (目录包名)

__init__.py 中代码示例如下

from flask import Blueprint

bp = Blueprint('views_bp', __name__)

from .bubble import bubble
from .get_col_list import get_col_list

2. 识别 app/views 目录下的py文件中的bp对象
   目录结构如下：

app/views
├── __init__.py
└── ms_jk .py # <= 此文件中的bp对象会识别为蓝图对象,且路由前缀为 ms_jk (文件名)

ms_jk .py 中代码示例如下

from flask import Blueprint

bp = Blueprint('view_name', __name__) # 视图名称可以随意填写，但是多个视图名称不能重复

@bp.route("/bubble", methods=['POST'])
def bubble():
    pass
    return {"status":200}

• 吉凯项目初始化代码参考

• 关于项目视图的说明

• [吉凯]关于项目环境搭建

模板配置文件示例参考：

这是气泡图的参考配置，仅供参考
frontend_template_config_1.json
frontend_template_config_2.json
则是前端各组件配置项的参考
input.json
关于配置文件有两个相关的配置项
FRONTEND_TEMPLATE_CONFIG_1 = "frontend_template_config_1.json" # 前端左侧模板参数json文件名
FRONTEND_TEMPLATE_CONFIG_2 = "frontend_template_config_2.json" # 前端右侧模板参数json文件名
该配置为默认识别的文件名称，需要修改的话可以再config.py中覆盖

app/__init__.py代码中涉及的需求汇总

• 动态注册蓝图
• 一些参数有默认的配置
• 增加version的识别（可优化）
• 增加对前端 /tool_detail 路由的支持

#!/usr/bin/env python
# -*- coding:utf-8 -*-
"""
@Author     : ice-melt@outlook.com
@File       : __init__.py.py
@Time       : 2022/09/21
@Version    : 1.0
@Desc       : None
"""
import importlib
import logging
import os
from app.utils import Paths
from ms_jk_utils.web import blueprints_dynamic_register
from ms_jk_utils.cfg import DefaultConfig
from flask_cors import CORS
from flask import Flask, g, render_template

__VERSION = (1, 0, 0)
__VERSION__ = ".".join(map(lambda x: str(x), __VERSION))


def create_app():
    app = Flask(__name__,
                static_folder="../dist/static",
                template_folder="../dist",
                instance_path=Paths.instance_path)

    print(app.instance_path)
    print(app.static_folder)
    print(app.template_folder)
    # r'/*' 是通配符，让本服务器所有的URL 都允许跨域请求
    CORS(app, resources=r'/*')

    app.config.from_object(DefaultConfig)
    app.config.from_pyfile(os.path.join(app.instance_path, 'config.py'))
    app.config["version"] = __VERSION__
    blueprints_dynamic_register(os.path.dirname(__file__), app)

    # views_bp.before_request(check_ticket)
    # r'/*' 是通配符，让本服务器所有的URL 都允许跨域请求
    CORS(app, resources=r'/*')

    @app.route('/', methods=['GET'])
    def index():
        return render_template('index.html')

    @app.route('/tool_detail', methods=['GET'])
    def tool_detail():
        return render_template('index.html')
    # @app.route('/static', methods=['GET'])
    # def static():
    #     return render_template('index.html')
    return app

找到VirtualBox的安装目录: C:\Program Files\Oracle\VirtualBox\VBoxManage.exe
找到虚拟机对应的虚拟硬盘: D:\VirtualBox VMs\ubuntu22.04_desktop\ubuntu22.04_desktop-disk002.vdi
在cmd中运行命令: VBoxManage.exe modifyhd "D:\VirtualBox VMs\ubuntu22.04_desktop\ubuntu22.04_desktop-disk002.vdi" --resize 358400

358400单位是M,合计350G. 修改操作需要关闭虚拟机

2.启动虚拟机划分磁盘控件

1. 安装分区管理软件 sudo apt-get install gparted
2. 打开软件, 进行操作

不推荐直接unmount根目录,但这样无法操作划分磁盘控件
我直接unmount根目录,此时有个提示,但是锁消失了,直接将额外的空间分配过来

方法一:

# flask启动时,增加配置项
JSON_SORT_KEYS = False

# 然后正常返回
return jsonify({"a":"aa","z":"zz","b":"bb"})

方法二:

# 使用 Response 返回
return Response(json.dumps(res), mimetype="application/json")

pip install pysam==0.19.1

使用示例及说明

# 读取文件
with pysam.AlignmentFile(file, mode) as reader:
    for r in reader:
        # 可以通过循环遍历bam中的每一行
        print(r) # r中包含很多属性,具体可以通过调试查看

注意:

• 当文件为 .bam 文件时, mode= "rb"
• 当文件为 .sam 文件时, mode= "r"
• 当文件为 CRAM 文件时, mode= "rc"

# 当文件包含索引时,可以读取特定区域
for r in reader.fetch('chrM', 300, 310)：
    print(r)

# 获取比对到指定碱基的结果,且碱基质量>30
for pileupcolumn in reader.pileup("chrM", 300, 301):
    for read in [al for al in pileupcolumn.pileups if al.alignment.mapq>30]:
        if not read.is_del and not read.is_refskip:
            if read.alignment.pos + 1 == 301:
                print(read.alignment.reference_name,\
                      read.alignment.pos + 1,\
                    read.alignment.query_sequence[read.query_position])

注意:

• pysam中碱基位置都是从0开始计算
• read.alignment与前述r是相同的对象实例

• image: anneng01:8090/angs/molecular_genetic_analysis:api_01
• volumn: /workspace/angs_molecular_genetic_analysis_api/instance
• port: 5667

完整的启动命令

docker run -d \
-p 5667:5667 \
-v /ceph_disk3/lx/temp/instance:/workspace/angs_molecular_genetic_analysis_api/instance \
anneng01:8090/angs/molecular_genetic_analysis:api_01

备注:

1. instance目录下包含
   • config.py: 部署时需要修改内部pg和redis配置
   • supervisord.conf: 使用归档文件即可
   • log: 空目录
2. 需要的配置文件参考服务器 /ceph_disk3/lx/temp/instance 下内容
3. 关于镜像tag名称在正式使用时可能会有更新(项目并未完全完成)

验证:

1. 使用服务器内部文件(可在instance目录下放置test_data目录,并将测试数据放入)

使用post方式请求接口: http://103.114.101.5:5667/load
请求参数(json格式):

{
    "vcf":"/workspace/angs_molecular_genetic_analysis_api/instance/test_data/n5000.vcf.gz",
    "fasta":"/workspace/angs_molecular_genetic_analysis_api/instance/test_data/Nitab-v4.5_genome_Chr_Edwards2017.fasta"
}

问题1：

rsync_from_ncbi.pl: unexpected FTP path (new server?) for ...

参考：https://github.com/DerrickWood/kraken2/issues/226

修改 vim /home/bioinfo/miniconda2/envs/kraken2/libexec/rsync_from_ncbi.pl
将 46 行 ftp 改为 https

 46   # if (! ($full_path =~ s#^ftp://${qm_server}${qm_server_path}/##)) {
 46   if (! ($full_path =~ s#^https://${qm_server}${qm_server_path}/##)) {
 47     die "$PROG: unexpected FTP path (new server?) for $ftp_path\n";
 48   }

使用qiime2会使用/tmp目录，如果数据过大，tmp目录空间不足可以进行临时修改

export TMPDIR='/ceph_disk3/lx/ws/user_dir_for_bioinfo/qiime_train_classifier/sample/tmp'


qiime feature-classifier fit-classifier-naive-bayes   \
--i-reference-reads ref-seqs.qza   \
--i-reference-taxonomy ref-taxonomy.qza   \
--o-classifier classifier.qza

cd ${TMPDIR}
watch -n 2 ls -l

# lefse 安装依赖r>3.5和python>3.7环境，这里使用python3.8,r3.5
conda create -n lefse112 -y python=3.8 pip=22.0.4 r-base=3.5
conda activate lefse112
# 使用 conda 安装一直报环境错误，这里使用pip安装
pip install lefse==1.1.2

# 安装依赖的R包
conda install r-survival r-mvtnorm r-modeltools r-coin r-mass -y -c conda-forge

环境记录

~/.condarc
channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
  - defaults

~/.config/pip/pip.conf
[global]
index-url = https://mirrors.aliyun.com/pypi/simple/

[install]
trusted-host = mirrors.aliyun.com

# 更新conda
conda update -n base -c defaults conda

安装后验证R环境

(lefse) lx@anneng01[13:45:08]:~$R --version
R version 3.5.1 (2018-07-02) -- "Feather Spray"
Copyright (C) 2018 The R Foundation for Statistical Computing
Platform: x86_64-conda_cos6-linux-gnu (64-bit)

R is free software and comes with ABSOLUTELY NO WARRANTY.
You are welcome to redistribute it under the terms of the
GNU General Public License versions 2 or 3.
For more information about these matters see
http://www.gnu.org/licenses/.

(lefse) lx@anneng01[13:45:08]:~$R

报错
/ceph_disk3/lx/miniconda3/envs/lefse/lib/R/bin/exec/R: error while loading shared libraries: libreadline.so.6: cannot open shared object file: No such file or directory

原因：libreadline.so.6 更新了，将7软连到6即可

cd /lib/x86_64-linux-gnu/
sudo ln -s libreadline.so.7.0 libreadline.so.6

https://genome.ucsc.edu/FAQ/FAQformat.html#format1

aspera

aspera 使用fasp技术比ftp,http快几百倍，（缺点，必须支持fasp,才能高速下载）

aria2

关于aria2 介绍：http://ivo-wang.github.io/2019/04/18/%E5%85%B3%E4%BA%8Earia2%E6%9C%80%E5%AE%8C%E6%95%B4%E7%9A%84%E4%B8%80%E7%AF%87/

aria2 支持 Http/Https、Ftp、BitTorrent、Metalink 协议（无法解析ed2k://）,设置磁盘缓存、支持断点及分段、多线程、远程服务器登录和上下行限速等不在话下，它甚至能够处理 URL 通配符、从多个地址下载/合并同一文件、加载 Cookie / Header、伪装 User Agent 和允许远程控制等等。

# aria2c -c -s 5 http://example.org/mylinux.iso
-c : 断点续传
-s : 使用线程数
-o: 重命名下载文件

2、Download from 2 sources
# aria2c http://a/f.iso   ftp://b/f.iso

3、Download using 2 connections per host
# aria2c -x2 http://a/f.iso

1. 登录服务器 shutdown -h now
2. 按电源关闭存储

开机

1. 先按电源开启存储
2. 按电源开启服务器

项目说明：
服务器 OS: Ubuntu 18.04

问题记录

1. 服务器无法接显示器（缺少VGA线，缺少拥有VGA接口的显示屏），发到客户地的台式PC和显示屏只有HDMI接口，最后向客户临时借用一套显示器解决，建议后续配拥有VGA接口的电脑和显示器，否则最好带上VGA和HDMI互转的设备。
2. 客户地无网络，组局域网服务器与PC无法联通。该问题通过设置服务器ip是PC机网关，服务器网关是PC机ip的方式解决
3. 部署脚本等缺少验证命令或验证方式，如增加权限，开机启动等，命令运行后是否生效不进行验证会增加后续产生问题的几率

问题解决过程涉及的命令

1. 固定网卡名称

# 修改Ubuntu内核启动参数,必要时使用sudo权限账号
vim /etc/default/grub
# 将文件中 GRUB_CMDLINE_LINUX="" 修改如下
GRUB_CMDLINE_LINUX="net.ifnames=0 biosdevname=0"

# 更新使生效
update-grub

# 修改网络配置
vim /etc/netplan/50-cloud-init.yaml
# 将文件内容修改如下
network:
    ethernets:
        eth0:
            addresses: [192.168.0.2/24]
            gateway4: 192.168.0.1
            nameservers:
                addresses: [8.8.8.8,114.114.114.114]
    version: 2
# 应用更新并重启
netplan apply
reboot

2. PC机出现Test Mode水印

# 管理员启动CMD，该方法尝试无效
bcdedit -set testsigning off

# 修改注册表
# win+R 输入 regedit
# 找到 HKEY_LOCAL_MACHINE/SYSTEM/ControlSet001/Control/ACPI
# 删除该项

# 以上问题有可能为系统未激活造成

后续需求

1. 无网络条件下的系统流程升级或更新（需要提供界面上传补丁包或流程包的方式进行系统或流程的更新和升级）
2. 用户需求的调研与评估
3. 配套电脑需要安装必要的相关软件（ftp工具,浏览器，Excel编辑器等）

参数

param_dict={
    {"Asia1":"GCA_008797915.1_ASM879791v1_genomic"}, 
    {"SAT3":"GCA_008798995.1_ASM879899v1_genomic"}, 
    {"SAT2":"GCA_008799015.1_ASM879901v1_genomic"}, 
    {"SAT1":"GCA_008799035.1_ASM879903v1_genomic"}, 
    {"C":"GCA_008799055.1_ASM879905v1_genomic"}, 
    {"A":"GCA_008799075.1_ASM879907v1_genomic"}, 
    {"O":"GCF_002816555.1_ASM281655v1_genomic"},  
}
DB_DIR=/data_raid1/bioinfo/app/cromwell/cromwell-executions/data/database
SampleID=S1
R1=${SampleID}_R1.fastq
R2=${SampleID}_R2.fastq

创建索引

cd ${DB_DIR}/FMDV_reference
for refSuffix in param_dict.items():
    bowtie2-build ${refSuffix}.fna ${refSuffix}

krakenuniq

# {step: krakenuniq}
krakenuniq --report-file report.tsv --db ${DB_DIR}/kraken_uniq_database \
    --threads ${T} --output report.kraken \
    --paired ${Fq1} ${Fq2} --unclassified-out unclassifed.txt --classified-out classifed.txt

# {step:parse krakenuniq report}
# result file list:
# - fastqc_result.json
# - report.tsv
# - report.kraken
# - res.json
# - tax.json
# - result/${SampleID}_R${n}_${SeroType}_{ReadsNum}.fastq

溯源

for SeroType,refSuffix in #{Assemble Param data from Part1 result}:
    # 进入一个单独的目录,该目录下全是同一 SeroType 不同样本的结果序列
    mkdir temp_xx && cd temp_xx
    for SampleID,ReadsNum in #{Assemble Param data from Part1 reuslt By Sample}:
        Fq1=${Path2Sample}/${SampleID}_R1_${SeroType}_{ReadsNum}.fastq
        Fq2=${Path2Sample}/${SampleID}_R2_${SeroType}_{ReadsNum}.fastq
        
        bowtie2 -x ${DB_DIR}/FMDV_reference/${refSuffix} -U ${Fq1},${Fq2} -S paired.sam 
        samtools view -bS paired.sam -o paired.bam
        samtools sort -o paired.sorted.bam paired.bam
        # {samtools mpileup 命令已过时，改用 bcftools mpileup}
        # {samtools mpileup -Ou -f ${DB_DIR}/FMDV_reference/${refSuffix}.fna paired.bam} 
        # 一致性序列,**该步骤会假设所有位点都是双倍体**
        bcftools mpileup -Ou -f ${DB_DIR}/FMDV_reference/${refSuffix}.fna -o mpileup.vcf paired.sorted.bam
        bcftools call -c -o all_site.vcf mpileup.vcf 
        # vcfutils.pl 属于 bcftools 软件的工具,将 vcf 转换成fastq
        vcfutils.pl vcf2fq all_site.vcf > cns.fastq
        # 将 fastq 转换成fasta
        seqtk seq -aQ64 -q20 -n N cns.fastq > cns.fasta
        # 将序列ID替换
        sed -i 's/^>.*$/>${SampleID}_${SeroType}_{ReadsNum}/g' ${SampleID}_${SeroType}_{ReadsNum}_cns.fasta 

    cat ${DB_DIR}/FMDV_type/${SeroType}.fa temp_xx/*_cns.fasta > all.fa
    mafft all.fa > fmdv_all.aln
    trimal -in fmdv_all.aln -out fmdv.aln.trimmed
    fasttree -gamma -nt -gtr -out fmdv.tree fmdv.aln.trimmed
# 最后将所有的 fmdv.tree 汇总