<![CDATA[Accelerating Single-cell Bioinformatics with N-dimensional Arrays in the Cloud]]>Accelerating Single-cell Bioinformatics with N-dimensional Arrays in the Cloud - Ryan Williams.pptx

]]>http://an.forum.genostack.com/topic/547/accelerating-single-cell-bioinformatics-with-n-dimensional-arrays-in-the-cloudRSS for NodeSat, 13 Jun 2026 09:21:24 GMTMon, 14 Feb 2022 03:56:40 GMT60<![CDATA[Reply to Accelerating Single-cell Bioinformatics with N-dimensional Arrays in the Cloud on Mon, 14 Feb 2022 03:57:29 GMT]]>https://github.com/lasersonlab/single-cell-experiments

项目说明

theis lab # scanpy
laserson lab # single-cell-experiments (zappy,zarr,ndarray.scala)

  1. 支持读取csv,adata,zarr,zarr_gcs(gcs,g3fs,谷歌亚/马逊云端数据)格式的单细胞数据
  2. 读取数据后依赖zarr包拆分数据成块(缺点:数据经过重复读取,每次数据读取都是全加载)
  3. adata 数据取矩阵(.X属性的值)数据通过指定块大小后按下标索引map到不同的块对象,即PairedRDD(此时的value是zarr,可能为压缩格式,参考代码 zarr_spark.py#read_zarr_chunk|get_chunk_indices)
  4. 对RDD进行计算(参考代码anndata_spark.py#log1p)

该项目衍生的问题：

  1. 目前该项目无维护，源代码未指明依赖版本关系，无法运行
  2. 项目分析过程无法交互展示，必须定义流程过程和控制参数
]]>http://an.forum.genostack.com/post/1195http://an.forum.genostack.com/post/1195Mon, 14 Feb 2022 03:57:29 GMT