章峰的网站

pelican 创建静态网站

2026-07-01T15:48:00+08:00

介绍¶

之前用过hexo和hugo搭建静态网站，确实可以快速生一个网页，详细信息见免费创建个人静态网站最佳实践：hugo+github+netlify。但是由于不懂JavaScript和GO语言，没有办法对网页样式进行细致地调整。此外，由于它们所使用主题的不断更新，可很难与自己的网站合并，导致网站出问题。实践中发现，主题什么的简单一点好，更主要是把精力放到内容创作上，因此我对网站生成器的要求变为：

主要使用python语法
配置要简单，不用花精力在配置上。
没事不要去折腾主题

Perlican是用Python实现的一个静态网站生成器，支持reStructuredText或Markdown。它支持以下功能：

博客文章和静态网页
支持评论。评论是通过第三方服务Disqus支持的。即评论数据保存在第三方服务器上
主题支持
把博客文章生成PDF格式文档
多语言博客支持，如可以用英文和中文写同一篇博客。不同语言访问者访问相应语言的博文
支持Atom/RSS订阅
博文中代码高亮支持
博客搬家支持(WordPress, Dotclear, 或RSS feeds)
支持插件，如Twiter, Google Analytics等

快速开始¶

# 1 安装
conda create -n pelican python=3.11
conda activate pelican
pip install "pelican[markdown]" # 安装pelican
pip install pelican-i18n-subsites # 双语翻译，不需要不用安装
pip install beautifulsoup4 # 安装toc插件依赖
pip install pymdown-extensions # latex 渲染

# 2 创建目录
mkdir -p ~/projects/myblog
cd ~/projects/myblog

# 3 初始设置
pelican-quickstart

# 4. 输出静态网页
pelican content

# 5 本地展示
pelican --listen
# 或者在开发过程中，希望内容有变化本地网页同时变化，而不需要重新运行 --listen
pelican -r -l # 

# 6 发布到github page展示
pelican content -s publishconf.py
cd output
git init
git remote add origin XX # 如git@github.com:Feng-Zhang/blog-content.git
git push
# https://Feng-Zhang.github.io/blog-content/ 可以在网站上看到内容

这些代码可以快速生成一个网站，但是想让网站变成你心目中的样子还需要进行更多地配置。下面进行详细解释。

内容¶

最简单的方法是使用markdown进行编写。和一般的markdown有点区别的是，需要在开头写明metadata信息，方便网站进行引用。常用的metadata有以下几种：

Title: 标题
Date: 创建时间
Modified: 修改时间
Category: 分类，一般只有一个
Tags: 标签，可以有多个
Slug: 文章的URL别名，只有一个
Authors: Feng Zhang
Lang: zh

发布¶

写的网站如何进行发布呢？一般得买域名并进行渲染，这个有点麻烦。有个最简单的方法是使用Github Pages，即把生成好的静态文件（HTML/CSS/JS）上传到 GitHub 仓库的指定仓库，然后 GitHub 自动帮你部署成网站。访问网址为https://username.github.io/仓库名，比如我把静态文件上传blog-content仓库，访问网站即为 https://feng-zhang.github.io/blog-content/。

把output下文件push到github后，打开网站后是404，原因是github page没有配置。 GitHub Pages 不会自动帮你把仓库“变成网站”，需要进行配置： 1.去 GitHub 仓库：Settings → Pages 2.然后设置：

Source: Deploy from a branch
Branch: master
Folder: / (root)

设置¶

详细配置示例可以到https://github.com/Feng-Zhang/blog-pelican/blob/master/pelicanconf.py 查看，把个性化的东西进行更改就行。

时间和日期¶

LOCALE：控制博客“时间/日期/语言显示风格”，让文章看起来符合中文或英文习惯。

插件¶

pelican从3.0版本开始支持插件。通过插件，不必直接修改Pelican的核心代码就可以给Pelican添加新功能。

1 如何使用插件¶

Pelican从4.5版本开始使用了一种全新的插件结构，利用了命名空间包，并且可以轻松地通过 Pip 进行安装。支持此结构地插件都会被安装在命名空间包 pelican.plugins 下，因此Pelican可以自动发现他们。下面的命令可以用于查看环境中用Pip安装的所有插件：pelican-plugins

若将 PLUGINS 配置项设为默认的 None ，Pelican会自动发现命名空间中的插件并且将他们全部加载；若你在 PLUGINS 设置项中指定了一系列的插件，Pelican就不会去自动发现插件，也就是说，你需要显式地指定所有要使用的插件。在配置 PLUGINS 时，有两种方式。一是用字符串列表指定插件的名称，可以是包含命名空间的完整名称（例如 pelican.plugins.myplugin ），也可以是简短名称（ myplugin）：

PLUGINS = ['package.myplugin',
           'namespace_plugin1',
           'pelican.plugins.namespace_plugin2']

二是在设置文件中先import进来，再将import进的模块放在 PLUGINS 设置项中：

from package import myplugin
from pelican.plugins import namespace_plugin1, namespace_plugin2
PLUGINS = [myplugin, namespace_plugin1, namespace_plugin2]

在尝试不同的插件时（尤其是那些处理元数据和内容的插件），缓存可能会相互干扰，一些更改不会生效。发生这种情况时，就需要通过设置 LOAD_CONTENT_CACHE = False 或使用 --ignore-cache 命令行选项禁用缓存。如果插件处于无法直接进行import的路径，可以在 PLUGIN_PATHS 配置项中指定这些路径。如下例所示， PLUGIN_PATHS 中的路径可以是绝对的，也可以是相对于设置文件的：

PLUGIN_PATHS = ["plugins", "/srv/pelican/plugins"]
PLUGINS = ["assets", "liquid_tags", "sitemap"]

2 在哪儿下载插件¶

新的命名空间插件可以在GitHub的 pelican-plugins 组织中找到，每个插件都是一个独立的仓库。而老的插件则可以在GitHub的 pelican-plugins 仓库中找到。这些老的插件会逐步淘汰并转移到新的命名空间版本。

pelican-extract-toc¶

pelican显示markdown时，将toc展示出来

# 在老系统中，需要手动clone
git clone  https://github.com/getpelican/pelican-plugins
pip install beautifulsoup4 # 安装依赖

双语插件¶

在新仓库中，直接使用pip安装

pip install pelican-i18n-subsites

主题¶

1.下载主题¶

git clone https://github.com/getpelican/pelican-themes

# 只下载 Elegant 这个主题。
git submodule update --init elegant

# 如果想下载所有主题，速度有点慢：
git submodule update --init --recursive
# 或者一开始就：
git clone --recursive https://github.com/getpelican/pelican-themes

2.配置主题¶

在pelicanconf.py中配置THEME = "pelican-themes/elegant"

评论¶

elegant主题有内置评论系统Utterances。只要在在 pelicanconf.py 中加入 Utterances 配置，文章页会加载评论组件。publishconf.py 会继承这些设置，发布时无需再改。

# Comments (Utterances → GitHub Issues: Feng-Zhang/blog-pelican-comment)
UTTERANCES_REPO = "Feng-Zhang/blog-pelican-comment"
UTTERANCES_THEME = "github-light"
COMMENTS_INTRO = "欢迎留言，使用 GitHub 账号登录即可评论。"

你还需要在 GitHub 上完成这几步（否则评论区会空白或报错）：

确认 Feng-Zhang/blog-pelican-comment 是公开仓库
在仓库 Settings → General → Features 里开启 Issues
打开 https://utteranc.es/，安装 Utterances GitHub App，并授权该仓库完成后重新部署网站，打开任意文章页，点击 Comments 折叠区即可看到评论框。

可选设置：某篇文章不想开评论，在 front matter 里加 comments: false 深色主题可改 UTTERANCES_THEME = "github-dark" 关闭某篇评论：utterances_filter: on（需同时设 UTTERANCES_FILTER = True）

小结¶

实践过程中，通过上面的设置我可以得到一个还不错的网站。但是想要把网站修改成自己想要的样式，还是需要个性化写一些html的配置。喜欢折腾的朋友可以借助 vibe coding 的工具进行修改。

参考资料¶

Pelican document： https://docs.getpelican.com/en/latest/
pelican github: https://github.com/getpelican/pelican
pelican主题：https://github.com/getpelican/pelican-themes

Visium空间转录组分析流程

2023-05-09T00:00:00+08:00

# Analysis, visualization, and integration of spatial datasets with Seurat at https://satijalab.org/seurat/articles/spatial_vignette.html
# set path ------------------------------------------
rm(list=ls());options(stringsAsFactors=FALSE)
project_dir <- rprojroot::find_rstudio_root_file()
raw_dir <- paste0(project_dir,"/raw-data/")
process_dir <- paste0(project_dir,"/process-data/")
output_dir <- paste0(project_dir,"/output-results/")
temp_dir <- paste0(project_dir,"/temp-data/")
bin_dir <- paste0(project_dir,"/bin/")
script_dir <- paste0(project_dir,"/workflow-scripts/")
work_dir <- output_dir
setwd(work_dir)

# library and set default parameter  ----------------
library(tidyverse)
library(Seurat)
library(SeuratData) #devtools::install_github('satijalab/seurat-data')
library(patchwork)
library(edgeR)
library(SingleCellExperiment)
prefix <- "Seurat-3-"
output_prefix <- paste0(output_dir,prefix)

创建一些函数¶

# functions -------------
run_clustering <- function(data, resolution = 0.1, npcs=30) {

  data <- SCTransform(data, assay = "Spatial", verbose = TRUE)
  data <- RunPCA(data, assay = "SCT", verbose = TRUE)
  data <- FindNeighbors(data, reduction = "pca", dims = 1:npcs)
  data <- FindClusters(data, verbose = TRUE, resolution=resolution)
  data <- RunUMAP(data, dims = 1:npcs)
  return(data)
}

pooling_seu <- function(seu_obj,assay="SCT") {
  cell_metadata <- seu_obj@meta.data

  # create sudo id by random sample into 3 sets from each patients
  cell_metadata$sudo_sample_id <- NA
  samples <- unique(cell_metadata$orig.ident)
  nrg <- 3
  for(i in c(1:length(samples))){
    set.seed(i)
    temp_sample_idx <- which(cell_metadata$orig.ident==samples[i])
    sample_sudo_idx <- sample(c(1:nrg),length(temp_sample_idx),replace=T,prob=rep(1/nrg,nrg)) # random sample into 3 sets
    cell_metadata[temp_sample_idx,'sudo_sample_id'] <- paste(samples[i],sample_sudo_idx,sep='_')
  }
  sce <- SingleCellExperiment(assays = list(counts = GetAssayData(seu_obj,slot="count",assay=assay)), colData = cell_metadata)
  summed <- scuttle::aggregateAcrossCells(sce, id=colData(sce)[,'sudo_sample_id']) # aggregate counts by id
  return(summed)
}

dga_treat <- function(DGEList,ref_level=NA,set_regulate=TRUE){
  DGEList$samples$lib.size <- colSums(DGEList$counts)
  if(is.na(ref_level)){
    DGEList$samples$group <- relevel(DGEList$samples$group, ref = levels(DGEList$samples$group)[1] ) 
  } else{
    DGEList$samples$group <- relevel(DGEList$samples$group, ref = ref_level)
  }
  keep <- filterByExpr(DGEList, group=DGEList$samples$group)   #set your own threshold
  table(keep)
  DGEList <- DGEList[keep,, keep.lib.sizes=FALSE]
  DGEList <- calcNormFactors(DGEList)
  # DE
  design <- model.matrix(~DGEList$samples$group)
  DGEList <- estimateDisp(DGEList, design, robust=TRUE)
  fit <- glmQLFit(DGEList, design, robust=TRUE)
  #lrt <- glmQLFTest(fit, coef=ncol(fit$design))
  lrt <- glmTreat(fit, coef=ncol(fit$design), lfc=log2(1.2))
  print(table(decideTests(lrt)))
  res <- topTags(lrt,n = nrow(DGEList))
  if(set_regulate){
    res$table$regulate <- "Normal"
    res$table$regulate[res$table$logFC>0 & res$table$FDR<0.05] <- "Up"
    res$table$regulate[res$table$logFC<0 & res$table$FDR<0.05] <- "Down"
    res$table <- res$table[order(res$table$FDR),]
  }
  return(res)
}

plot_rctd <- function(RCTD,seu_obj, image_name="VLP43_kidney_A1",r=3){
  stopifnot("RCTD"%in% class(RCTD))
  stopifnot("FindClusters"%in% names(seu_obj@commands))
  norm_weights <- normalize_weights(RCTD@results$weights) # normalize the cell type proportions to sum to 1.
  query <- subset(seu_obj,cells = row.names(RCTD@spatialRNA@coords))
  pos <- RCTD@spatialRNA@coords
  annot <- query$seurat_clusters
  p <- vizAllTopics(as.matrix(norm_weights), pos,
                    #topicCols = qualitative_hcl(n=ncol(norm_weights),palette="Dynamic"),
                    topicCols = brewer.pal(n=ncol(norm_weights),name = "Paired"),
                    groups = annot,
                    group_cols = rainbow(length(levels(annot))),
                    #group_cols = rainbow_hcl(length(levels(annot))),
                    r=r,lwd = 0.1) + labs(title=image_name) +
    #ggplot2::guides(colour = "none") +
    theme(plot.background = ggplot2::element_rect(fill = "white"),plot.title = element_text(hjust = 0.5,size=15))
  return(p)
}

Visium空间转录组技术¶

当前时代的空间转录组技术大致分为五类方向：激光显微切割（laser capture microdissection，LCM），单分子荧光原位杂交（single molecular fluorescent in situ hybridization, smFISH），靶向原位测序（In situ sequencing，ISS），原位阵列捕获（In situ array capture, Array）和其他非成像技术（No imaging）。

目前商业用的最广的还是Visium平台，因此我们以Visium数据为例进行演示，进行如聚类，差异表达，反卷积等分析。使用的工具是Seurat，spacexr等包。在单细胞下游分析中，Seurat是一个非常强大的R包，不仅有强大的社区、详细文档说明还有很多内置数据。这里以Analysis, visualization, and integration of spatial datasets with Seurat 数据为例进行空间转录组分析。

1. 数据探索¶

查看测序数据质量，是否符合生物学背景。如果质量不好，需要进行质量控制。stxBrain已经是过滤后的数据，我们不需要进行质量控制。

#InstallData("stxBrain") # 如果由于网络问题，安装失败。可以将url放在浏览器中下载tar.gz文件，然后本地安装。
brain <- LoadData("stxBrain", type = "anterior1")

# Data preprocessing: Normalization 
plot1 <- VlnPlot(brain, features = "nCount_Spatial", pt.size = 0.1) + NoLegend()
plot2 <- SpatialFeaturePlot(brain, features = "nCount_Spatial") + theme(legend.position = "right")
wrap_plots(plot1, plot2)
# 斑点上分子计数的变化不仅是技术上的问题，而且还取决于组织的解剖结构。
# 例如，神经元（例如皮质白质）耗竭的组织区域可再现地显示出较低的分子数。

2. 聚类¶

和单细胞数据类似，我们需要对数据进行聚类。也可以使用run_clustering函数。

brain <- SCTransform(brain, assay = "Spatial", verbose = FALSE)
# Gene expression visualization
SpatialFeaturePlot(brain, features = c("Hpca", "Ttr"))
p1 <- SpatialFeaturePlot(brain, features = "Ttr", pt.size.factor = 1)
p2 <- SpatialFeaturePlot(brain, features = "Ttr", alpha = c(0.1, 1))
p1 + p2

# Dimensionality reduction, clustering 
brain <- RunPCA(brain, assay = "SCT", verbose = FALSE)
brain <- FindNeighbors(brain, reduction = "pca", dims = 1:30)
brain <- FindClusters(brain, verbose = FALSE)
brain <- RunUMAP(brain, reduction = "pca", dims = 1:30)

# visualization
p1 <- DimPlot(brain, reduction = "umap", label = TRUE)
p2 <- SpatialDimPlot(brain, label = TRUE, label.size = 3)
p1 + p2

3. 检测亚群特异和空间特异差异基因¶

对不同亚群进行差异分析，对不同空间分布中的细胞进行基因差异分析。

# Detecting spatially-variable features 
de_markers <- FindMarkers(brain, ident.1 = 5, ident.2 = 6)
head(de_markers)
SpatialFeaturePlot(object = brain, features = rownames(de_markers)[1:3], alpha = c(0.1, 1), ncol = 3)

A data.frame: 6 * 5
	p_val	avg_log2FC	pct.1	pct.2	p_val_adj

Calb2	6.427214e-69	3.336874	1.000	0.537	1.135560e-64
Camk2n1	1.519204e-68	-2.450388	1.000	1.000	2.684130e-64
Nrgn	1.573095e-68	-3.229826	0.971	1.000	2.779344e-64
Stx1a	2.104119e-68	-2.238353	0.784	1.000	3.717558e-64
Nptxr	9.820482e-68	-1.918293	0.942	1.000	1.735083e-63
Lingo1	2.124777e-67	-1.913281	0.880	1.000	3.754056e-63

#在没有预注释的情况下搜索表现出空间模式的特征
brain <- FindSpatiallyVariableFeatures(brain, assay = "SCT", features = VariableFeatures(brain)[1:1000],selection.method = "moransi") # moransi mothed, markvariogram too slow
#top.features <- head(SpatiallyVariableFeatures(brain, selection.method = "moransi"), 6)
top.features <- c("Calb2","Gng4","Ttr","S100a5","Nrgn","Doc2g")
SpatialFeaturePlot(brain, features = top.features, ncol = 3, alpha = c(0.1, 1))

Computing Moran's I

4. 检测分组特异差异基因¶

由于此数据没有分组信息，我们导入另一个数据进行演示。由于直接对分组细胞进行差异分析会造成假阳性，这里我们用psudo-bulk差异分析

brain <- readRDS("/media/zhangfeng/myData/projects/sp-aging/output-results/70-visium-brain-cluster.RData")

# DEG group--------
table(brain@meta.data$group)
summed <- pooling_seu(brain)
class(summed)
head(summed@colData)
is_ribo<-grepl('Rps|Rpl',row.names(summed))
is_mito<-grepl('mt-',row.names(summed))
y <- DGEList(counts(summed)[(!is_ribo)&(!is_mito),], samples=colData(summed)$sudo_sample_id,group=colData(summed)$group) # DE between types
res <- dga_treat(DGEList=y,ref_level = "young")
head(res$table)

aged young
10715 11479

DataFrame with 6 rows and 11 columns
            orig.ident nCount_Spatial nFeature_Spatial       group nCount_SCT`<character>`      `<numeric>`        `<integer>` `<character>`  `<numeric>`
VLP40_1A_1    VLP40_1A             NA               NA       young         NA
VLP40_1A_2    VLP40_1A             NA               NA       young         NA
VLP40_1A_3    VLP40_1A             NA               NA       young         NA
VLP40_1B_1    VLP40_1B             NA               NA       young         NA
VLP40_1B_2    VLP40_1B             NA               NA       young         NA
VLP40_1B_3    VLP40_1B             NA               NA       young         NA
           nFeature_SCT SCT_snn_res.0.1 seurat_clusters sudo_sample_id
              `<integer>`        `<factor>`        `<factor>`    `<character>`
VLP40_1A_1           NA              NA              NA     VLP40_1A_1
VLP40_1A_2           NA              NA              NA     VLP40_1A_2
VLP40_1A_3           NA              NA              NA     VLP40_1A_3
VLP40_1B_1           NA              NA              NA     VLP40_1B_1
VLP40_1B_2           NA              NA              NA     VLP40_1B_2
VLP40_1B_3           NA              NA              NA     VLP40_1B_3
                   ids    ncells
           `<character>` `<integer>`
VLP40_1A_1  VLP40_1A_1      1023
VLP40_1A_2  VLP40_1A_2      1041
VLP40_1A_3  VLP40_1A_3      1025
VLP40_1B_1  VLP40_1B_1       915
VLP40_1B_2  VLP40_1B_2       915
VLP40_1B_3  VLP40_1B_3       865

-1     0     1 
 87 14105   203

A data.frame: 6 * 6
	logFC	unshrunk.logFC	logCPM	PValue	FDR	regulate

Lyz2	2.6841911	2.6854073	5.326010	2.446786e-17	2.992338e-13	Up
C4b	3.0082676	3.0088154	6.819937	5.386843e-17	2.992338e-13	Up
Itgax	3.8597675	3.9129263	1.172032	6.236203e-17	2.992338e-13	Up
Cd52	1.3891682	1.3899204	4.541512	1.229941e-15	4.426248e-12	Up
Pcdhb9	0.9295853	0.9301349	4.305468	2.580643e-15	7.429671e-12	Up
Fcgr2b	1.4622417	1.4650595	2.751271	1.811064e-14	4.032808e-11	Up

5. Deconvolution分析¶

由于Visium平台的spot不是单细胞分辨率，一般有1-10个细胞，因此我们需要对其进行注释，分析不同细胞的比例。这里使用spacexr包进行分析。

reference <- readRDS('/media/zhangfeng/myData/projects/sp-aging/output-results/4-brain-SCRef.rds')
# control sample
spatial_controls <- RCTD_replicates(seu_obj = brain[,brain$group=="young"])
RCTD_controls <- create.RCTD.replicates(spatial_controls$spatialRNA_replicates, reference, spatial_controls$samples, max_cores = 20)
RCTD_controls <- run.RCTD.replicates(RCTD_controls, doublet_mode = 'full')

# treatment samples
spatial_treats <- RCTD_replicates(seu_obj = brain[,brain$group=="aged"])
RCTD_treats <- create.RCTD.replicates(spatial_treats$spatialRNA_replicates, reference, spatial_treats$samples, max_cores = 20)
RCTD_treats <- run.RCTD.replicates(RCTD_treats, doublet_mode = 'full')

# add into seurat
spot_weight <- combine_weight(RCTD_controls,RCTD_treats)
meta_data <- brain@meta.data %>% rownames_to_column("spot_id") %>% 
  left_join(spot_weight,by="spot_id")
all(meta_data$spot_id==colnames(brain))  
meta_data <- column_to_rownames(meta_data,"spot_id")
brain <- AddMetaData(brain,metadata = meta_data)
saveRDS(brain,file = "/media/zhangfeng/myData/projects/sp-aging/output-results/70-visium-brain-RCTD.RData"))

brain <- readRDS("/media/zhangfeng/myData/projects/sp-aging/output-results/70-visium-brain-RCTD.RData")

head(brain@meta.data)

A data.frame: 6 * 17
	orig.ident	nCount_Spatial	nFeature_Spatial	group	nCount_SCT	nFeature_SCT	SCT_snn_res.0.1	seurat_clusters	Astrocytes	Ependymal	Immune	Microglia	Neurons	Oligos	PeripheralGlia	Vascular	max_cell

AAACAAGTATCTCCCA-1_1_1_1	VLP40_1A	8421	3160	young	15335	3514	3	3	0.19143611	0.0006158916	0.0049827905	0.004197530	0.3236210	0.433052200	0.011450442	0.030644049	Oligos
AAACACCAATAACTGC-1_1_1_1	VLP40_1A	23006	5649	young	16862	5507	0	0	0.11293516	0.0013890113	0.0006617161	0.011798306	0.8054124	0.062050025	0.002048477	0.003704872	Neurons
AAACAGAGCGACTCCT-1_1_1_1	VLP40_1A	25131	6224	young	16782	5926	0	0	0.04871926	0.0073010556	0.0026329875	0.009357506	0.9132606	0.004827619	0.002313284	0.011587694	Neurons
AAACAGCTTTCAGAAG-1_1_1_1	VLP40_1A	35993	7074	young	16298	5253	0	0	0.05981760	0.0019247194	0.0001026660	0.013729242	0.8918254	0.007285013	0.002966418	0.022348983	Neurons
AAACAGGGTCTATATT-1_1_1_1	VLP40_1A	37738	7220	young	16163	5196	0	0	0.05777206	0.0014648800	0.0009153018	0.007876570	0.9005069	0.023966030	0.000675534	0.006822758	Neurons
AAACATTTCCCGGATT-1_1_1_1	VLP40_1A	14901	4544	young	15460	4544	3	3	0.13274107	0.0026031003	0.0001558520	0.006728277	0.6066684	0.218612193	0.010717393	0.021773681	Neurons

6. 绘图¶

slice_id <- names(RCTD_controls@group_ids)[1]
myRCTD_full <- RCTD_controls@RCTD.reps[[1]]
p_brain <- plot_rctd(myRCTD_full,brain,image_name = slice_id)+ggtitle(slice_id)+
    theme(plot.title=element_text(hjust = 0.5))+labs(fill="Cell_Type",color="Cluster")+
    guides(colour = "none")
p_brain

商业网盘推荐和私有网盘构建

2022-05-13T00:00:00+08:00

备份网盘和同步网盘¶

我们经常听到“网盘”这一名词，我们以为“网盘”顾名思义是网络U盘/网络硬盘，将资料备份储存的网上空间，然而这只是“备份”的含义。严格来说，网盘的功能可以分为“备份”和“同步”，大部分人通常会将“备份”与“同步”混为一谈。

我们经常使用的百度网盘就是侧重备份，同步功能也有但比较弱。而同步网盘不仅具备网盘功能，其最大的特点为“同步”而非“备份”。同步网盘的意思即，在电脑A里安装软件后，在同步文件夹内的任何文件只要有更新或修改，会被自动上传到云端（不需手动上传），当电脑B也安装此软件时，在电脑A上自动上传到云端的文件会被自动下载到电脑B的同步文件夹中。移动设备亦然。这样在办公室没做完的文件可以直接被同步，在家里无缝链接地接着做。而不用U盘拷贝来拷贝去，有时还得比较哪些文件更新了，哪些没动。

商用网盘推荐¶

那么现在有哪些好用的网盘推荐呢？

备份网盘¶

备份网盘最重要的参数应该是存储容量。最开始备份盘都是1T，2T的免费送，但是市场证明免费的策略行不通，现在大部分都挂了。记得原来使用的360网盘，实在恶心，直接关闭，还不让你把数据下载回来，最后好像交了99块钱买了VIP服务才把数据下载下来。

现在还坚挺的不多，目前国内用的比较多还是百度网盘。虽然被吐槽各种限速和收费，但是大浪淘沙下来还是非常坚挺。2T的存储空间还是够用的。其它的软件，请看10款好用的在线网盘服务推荐。

推荐：百度网盘体验感：全平台通用，用户非常广，分享的资源丰富。但是下载速度太慢。

同步网盘¶

同步盘比较流行的有：坚果云，百度网盘，OneDrive，Dropbox 和 Google Drive。

具体软件间的差异可以看各大同步网盘的比较。由于某些原因，国外的网盘在国内都不是很好用，上传下载速度太慢。近几年百度网盘也有同步功能，但是限制流量，只有1G的空间。综合比较还是坚果云好用。

推荐：坚果云体验感：全平台通用，界面简洁，使用方便，还有增量同步功能，不限制容量。缺点是限制流量，免费版只有1G的上传流量和3G的下载流量。

自建网盘¶

如果你经历过：限速下载，限制分享，关闭服务，无故删除数据等，你可能会非常想有一个自己的私人网盘，我的数据我做主。相比商业网盘，私人网盘的优点是：安全性更高，没有任何限制。缺点是：需要自己维护，懂一些linux命令。当然两者都需要一些费用。

当然要实现这一目标，需要具备以下两点：

首先得有一个服务器，用于构建环境及存储。
还需要有一个公网IP，要不然只有在局域网才能登陆网盘。

作为一个不太懂计算机网络的人，目前有两种方式实现，推荐第一种：

使用轻量服务器，网上购买阿里云等其它云服务，价格便宜，使用方便。
在家里用一台电脑当服务器，但是得请网络商申请一个公网IP，24小时开机。

1 cloudreve 构建¶

Cloudreve是一个开源的，在github上有10K的star。安装简单易懂，有人做了阿里云搭建cloudreve视频可以参考。

安装

# 解压程序包
tar -zxvf cloudreve_VERSION_OS_ARCH.tar.gz

# 赋予执行权限
chmod +x ./cloudreve

# 启动 Cloudreve
./cloudreve

网页通过http://IP:5212/ 来访问。

优点：安装方便，界面简洁，国人开发有中文文档说明，下载和上传速度非常快。缺点：体验使用的人较少，说明文档不多，没有同步功能，没有客户端，只支持windows和linux两种平台。

2 nextcloud 构建¶

nextcloud官网有安装教程，但是是英文的，网上也有一些nextcloud 中文教程。

优点：全平台支持，上传速度快，有自动同步功能，插件多功能丰富。缺点：英文说明文档，不能上传文件夹，同步文件没有虚拟功能，全部同步占用空间。

3 seafile 构建¶

Seafile和Syncthing 二者均开源，但Seafile教程和应用更多一些。

Seafile 适合用在自建服务器上（如 VPS、NAS），类似的还有 ownCloud 和 NextCloud；
Syncthing 类似之前的 BitTorrent Sync （现在叫 Resilio），同步的各个设备可以认为是平等的，适合在个人多台电脑之间同步。

Seafile官网上找到安装教程，也有seaFile 同步盘搭建视频教程。

3.1 seafile 服务器安装¶

服务器安装，推荐用docker安装开源版seafile

安装 docker-compose

apt-get update
apt-get install docker-compose -y

下载并修改 docker-compose.yml 下载到本地进行修改，再上传到服务器
启动 Seafile 服务

docker-compose up -d

需要等待几分钟，等容器首次启动时的初始化操作完成后，您就可以在浏览器上访问http://IP:端口号来打开主页。

3.2 客户端¶

支持全平台，直接下载安装，界面简洁，方便上手。

优点：全平台支持，有自动同步功能，上传速度快，官方是中文说明文档缺点：暂未发现

4 用git进行同步¶

将服务器当做远端仓库，从本地A端推送上去。另一台电脑B端clone下来。实践下来发现，如果数据超过100M的话，家庭宽带上行速度太慢，push不上。此外，git对大文件不太友好，也限制了同步的功能。

小结¶

如果图方便，备份盘选择百度网盘，同步盘选择坚果云。
如果看重文件安全及稳定，想自己在服务器上搭建私人网盘，推荐用seafile搭建。

参考资料¶

如何搭建自己的私有云盘对比9大开源网盘程序，自建网盘指南

Anaconda使用教程

2021-10-21T10:20:00+08:00

[toc]

Anaconda使用教程¶

参考资料¶

中文博客推荐 anaconda 官网教程

一、什么是Anaconda？¶

1. 简介¶

Anaconda（官方网站）就是可以便捷获取包且对包能够进行管理，同时对环境可以统一管理的发行版本。Anaconda包含了conda、Python在内的超过180个科学包及其依赖项。

Anaconda可以创建不同的虚拟环境，以实现环境间的隔离，这样在不同环境中可以使用软件或依赖库的不同版本，避免不同版本间的冲突。

2. 特点¶

Anaconda具有如下特点：

开源
安装过程简单
高性能使用Python和R语言
免费的社区支持
适用于多平台：Windows, macOS, Linux

如果日常工作或学习并不必要使用1,000多个库，那么可以考虑安装Miniconda，这里不过多介绍Miniconda的安装及使用。

二、安装及镜像¶

1. 下载Anaconda¶

Anaconda官网下载地址： https://www.anaconda.com/products/individual#linux Anaconda中国镜像下载： https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/ miniconda下载地址： https://docs.conda.io/en/latest/miniconda.html#latest-miniconda-installer-links

2. 安装Anaconda¶

bash Anaconda3-2021.05-Linux-x86_64.sh  
# specify a different location below  
>>> /home/zhangfeng/bin/anaconda3

注意指定安装目录时，不能进行修改。如果有错字，使用删除键也不行。

3. 设置镜像¶

显示镜像：conda config --show-source

默认有以下载通道：

channels:
  - conda-forge
  - bioconda
  - r
  - defaults
show_channel_urls: true

即从国外的服务器下载不同软件包。- r表示通过r通道下载软件，即指从 https://conda.anaconda.org/r/网站下载 conda-forge是指从 https://conda.anaconda.org/conda-forge/网站下载

默认下载网址为Anaconda的官方服务器，安装包时下载速度很慢，所以设置国内镜像很重要。清华大学的TUNA镜像源有Anaconda仓库的镜像，我们将其加入conda的配置即可，即修改~/.condarc文件内容。conda会从.condarc中下载通道按顺序搜索软件包。 defaults ：默认下载通道。如果不指定通道则从defaults通道下载。 channel_alias：修改指向defaults的网址，我们可以用 https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/镜像代替。

修改后的.condarc文件：

channel_alias: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/pro
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
  - conda-forge
  - bioconda
  - defaults
ssl_verify: true
show_channel_urls: true
channel_priority: disabled

conda-forge和bioconda通道里的软件包比较新，推荐使用。

4. 安装软件包注意事项¶

安装一个包不成功的话，可能的原因有：

在本平台（windows）上没有这个包，或没有相应的硬件支持。
有依赖的包没有安装，可以网上查询一下可能的依赖包，先安装这个依赖包。
如果之前安装好的，但由于其它软件的变动，可能导致无法使用。可以先卸载后再重新安装。
有些包在conda和pip中的版本是不兼容的，因此应该尽量用conda来安装。如果在conda中没有这个版本，再用pip来安装。

三、conda常用命令¶

常用命令¶

conda create -n learn python=3  // 创建一个名为learn的环境并指定python版本为3(最新版本)
conda activate learn //激活learn环境
conda env list // 列出conda管理的所有环境
conda list // 列出当前环境的所有包
conda search --full-name <package_full_name> //搜索包
conda install requests //安装requests包
conda install -n root conda=4.6 // 将conda降回原来版本
conda remove requests //卸载requets包
conda remove -n learn --all // 删除learn环境及下属所有包
conda update requests 更新requests包
conda env export > environment.yaml  // 导出当前环境的包信息
conda env create -f environment.yaml  // 用配置文件创建新的虚拟环境

1. 验证conda已被安装¶

conda --version

终端上将会以 conda 版本号的形式显示当前安装conda的版本号。如： conda 3.11.0

2. 更新conda至最新版本¶

conda update anaconda #更新anaconda  
conda update conda
conda update --all #更新所有包

执行命令后，conda将会对版本进行比较并列出可以升级的版本。同时，也会告知用户其他相关包也会升级到相应版本。当较新的版本可以用于升级时，终端会显示 Proceed ([y]/n)? ，此时输入 y 即可进行升级。

3. 查看conda帮助信息¶

conda --help
conda -h

4. 卸载conda¶

rm -rf ~/anaconda3

直接删除Anaconda的安装目录即可。

5. 配置¶

anaconda默认会开机启动，为了避免这种情况，我们需要在~/.condarc文件中进行设置。

conda config --set auto_activate_base false

6. 路径及重命名¶

conda env list #可列出conda管理的所有环境

conda不能对环境进行重命名，如果直接将环境所在目录重命名的话：

mv /home/zhangfeng/bin/anaconda3/envs/test /home/zhangfeng/bin/anaconda3/envs/test1 #

使用软件会报错，因为会用到以前的test下的库。只能删除这个环境，重新建一个新环境。

四、管理环境¶

1. 创建新环境¶

conda create --name <env_name> <package_names>

即创建的环境名。建议以英文命名，且不加空格，名称两边不加尖括号“<>”。
即安装在环境中的包名。名称两边不加尖括号“<>”。
如果要安装指定的版本号，则只需要在包名后面以 = 和版本号的形式执行。如： conda create --name python2 python=2.7 ，即创建一个名为“python2”的环境，环境中安装版本为2.7的python。
如果要在新创建的环境中创建多个包，则直接在后以空格隔开，添加多个包名即可。如： conda create -n python3 python=3.5 numpy pandas，即创建一个名为“python3”的环境，环境中安装版本为3.5的python，同时也安装了numpy和pandas。
--name 同样可以替换为 -n 。
默认情况下，新创建的环境将会被保存在 /Users//anaconda3/env 目录下，其中为当前用户的用户名。

2. 切换环境¶

conda activate <env_name>

如果创建环境后安装Python时没有指定Python的版本，那么将会安装与Anaconda版本相同的Python版本，即如果安装Anaconda第2版，则会自动安装Python 2.x；如果安装Anaconda第3版，则会自动安装Python 3.x。
当成功切换环境之后，在该行行首将以“(env_name)”或“[env_name]”开头。其中，“env_name”为切换到的环境名。如：在执行conda activate python2，即切换至名为“python2”的环境，则行首将会以(python2)开头。

3. 退出环境¶

source deactivate

当执行退出当前环境后，原本行首以“(env_name)”或“[env_name]”开头的字符将不再显示。

4. 显示已创建环境¶

conda info --envs
conda info -e
conda env list

结果中星号“*”所在行即为当前所在环境。Linux系统中默认创建的环境名为“base”。

5. 复制环境¶

conda create --name <new_env_name> --clone <copied_env_name>

即为被复制/克隆环境名。环境名两边不加尖括号“<>”。
即为复制之后新环境的名称。环境名两边不加尖括号“<>”。
conda create --name py2 --clone python2，即为克隆名为“python2”的环境，克隆后的新环境名为“py2”。此时，环境中将同时存在“python2”和“py2”环境，且两个环境的配置相同。

6. 删除环境¶

conda remove --name <env_name> --all

为被删除环境的名称。环境名两边不加尖括号“<>”。

五、管理软件包¶

1. 查找可供安装的包版本¶

1.1 精确查找¶

conda search --full-name <package_full_name>

--full-name 为精确查找的参数。
是被查找包的全名。包名两边不加尖括号“<>”。
例如： conda search --full-name python 即查找全名为“python”的包有哪些版本可供安装。

1.2 模糊查找¶

conda search <text>

<text> 是查找含有此字段的包名。此字段两边不加尖括号“<>”。
例如： conda search py 即查找含有“py”字段的包，有哪些版本可供安装。

2. 获取当前环境中已安装的包信息¶

conda list

执行上述命令后将在终端显示当前环境已安装包的包名及其版本号。

3. 安装包¶

3.1 在指定环境中安装包¶

conda install --name <env_name> <package_name>

即将包安装的指定环境名。环境名两边不加尖括号“<>”。
即要安装的包名。包名两边不加尖括号“<>”。
例如： conda install --name python2 pandas 即在名为“python2”的环境中安装pandas包。

3.2 在当前环境中安装包¶

conda install <package_name>

即要安装的包名。包名两边不加尖括号“<>”。
执行命令后在当前环境中安装包。如conda install gdal=2.4.3

3.3 使用pip安装包¶

pip3 install see

当使用 conda install 无法进行安装时，可以使用pip进行安装。例如：see包。

pip 用法：

安裝：pip install PackageName
更新：pip install -U PackageName
移除：pip uninstall PackageName
搜索：pip search PackageName
帮助：pip help
从github安装: pip install git+https://github.com/jkbr/httpie.git

3.4 从http://Anaconda.org安装包¶

当使用 conda install 无法进行安装时，可以考虑从 http://Anaconda.org 中获取安装包的命令，并进行安装。

在浏览器中输入： http://anaconda.org
在SEARCH PACKAGES搜索框中输入要安装的包名，然后点击右边“放大镜”标志进行检索。
搜索结果中有数以千计的包可供选择，此时点击“Downloads”可根据下载量进行排序，最上面的为下载最多的包。
选择满足需求的包或下载量最多的包，点击包名。
“To install this package with conda run one of the following:”下方有安装命令，选择其中一个并粘贴在终端中执行。
完成安装。

4. 卸载软件包¶

4.1 卸载其它环境中的包¶

conda remove --name <env_name> <package_name>

即卸载包所在指定环境的名称。环境名两边不加尖括号“<>”。
即要卸载包的名称。包名两边不加尖括号“<>”。
例如：conda remove --name python2 pandas 即卸载名为“python2”中的pandas包。

4.2 卸载当前环境中的包¶

conda remove <package_name>

即要卸载包的名称。包名两边不加尖括号“<>”。
执行命令后即在当前环境中卸载指定包。
例如： conda remove pandas 即在当前环境中卸载pandas包。

5. 更新包¶

5.1 更新所有包¶

conda update --all
conda upgrade --all

建议：在安装Anaconda之后执行上述命令更新Anaconda中的所有包至最新版本，便于使用。

5.2 更新指定包¶

conda update <package_name>
conda upgrade <package_name>

为指定更新的包名。包名两边不加尖括号“<>”。
更新多个指定包，则包名以空格隔开，向后排列。
如： conda update pandas numpy matplotlib 即更新pandas、numpy、matplotlib包。

六、debug¶

conda install 一直在Solving environment卡死

可能是通道的原因，换一个通道 conda update conda -c conda-forge试试.
删除安装缓存。conda info找到缓存地址，在package cache行。然后进行删除：

rm /home/disk2/xs/anaconda3/pkgs
rm /home/disk2/xs/.conda/pkgs

七、案例¶

创建R环境并安装R软件及R包¶

conda create -n R # 创建一个R的环境
conda activate R #激活R环境
conda install -c conda-forge r-base #不能同时加 r-essentials，会导致环境冲突
conda update -c conda-forge r-base # 如果没有安装最新版本，用此命令尝试更新
conda install -c conda-forge r-packagename #安装r包

注意R包的名称前要加r-，如需要安装ggplot2，命令为conda install -c conda-forge r-ggplot2
有些r包有时就是安装不了。这时候可以直接进入R命令行，直接在R里面装。

创建rnaseq环境¶

conda create -n rnaseq python=3
conda install -c bioconda fastqc multiqc trim-galore 
conda install -c bioconda samtools stringtie STAR

# 验证相关软件是否安装
fastqc --version
multiqc --version
trim_galore --version
samtools --version
stringtie --version
STAR --version

single cell RNA-seq全流程复现HCC文章

2021-09-06T10:20:00+08:00

Single-cell RNA sequencing shows the immunosuppressive landscape and tumor heterogeneity of HBV-associated hepatocellular carcinoma是2021年6月刚发表在NC上的文章，主要是利用单细胞转录组分析HCC患者的肿瘤异质性和免疫相关内容。本文主要复现这篇文章的生物信息分析方面的结果，包括上游的比对和定量，下游的异质性和细胞互作等内容。

The upstream analyses of Single cell RNA-seq data¶

Data collection¶

The sequence data for 8 liver carcinoma was deposited in NCBI with accession code of SRP318499. We download the bam files of 8 samples using ascp software. The size of 8 samples was listed below:

du -sh rawData/*bam
## 56G  rawData/095_possorted_genome_bam.bam
## 23G  rawData/104_possorted_genome_bam.bam
## 22G  rawData/106_possorted_genome_bam.bam
## 51G  rawData/114_possorted_genome_bam.bam
## 45G  rawData/119_possorted_genome_bam.bam
## 22G  rawData/713_possorted_genome_bam.bam
## 27G  rawData/725_possorted_genome_bam.bam
## 53G  rawData/740_possorted_genome_bam.bam

Gene expression quantification¶

We then convert bam files to fastq format, count gene expression for each samples, and aggregate 8 count matrices to one matrix. Take sample with 119 id for example:

# 1. the barcoded BAM files are covered to FASTQ files with the 10x Genomics bamtofastq tool
bamtofastq --nthreads=8 119_possorted_genome_bam.bam 119

# 2. perform read alignment, UMI counting,
cd 119
cellranger count --id=119 --transcriptome=/media/zhangfeng/myData/reference/refdata-gex-GRCh38-2020-A --fastqs=trial5d_count_new_0_1_HG3WLDMXX --chemistry=SC3Pv2 # note: the default parameter of chemistry would throw error, the SC3Pv2 should be defined

# 3. use the cellranger aggr pipeline to aggregate outputs from multiple runs of cellranger count, normalize runs to the same effective sequencing depth
cellranger aggr --id=aggr --csv=libraries.csv

We can review the summary from the web_summary.html. The aggr analysis detected a error : Low Post-Normalization Read Depth of 19.8% , which means that there may be large differences in sequencing depth across the input libraries. So we have to quality control for each samples and then combine them together.

Quality control¶

Firstly, I check the quality of features, counts, and the percentage of mitochondrial genes

library(Seurat)
load("cluster/2_qc/rawSeurats.RData")
dim(rawSeurats);

## [1] 26428 41630

table(rawSeurats@active.ident)

##
##   095   104   106   114   119   713   725   740
##  8388   540   757 11855  7535  1368  2464  8723

VlnPlot(rawSeurats,features = c("nFeature_RNA"))

VlnPlot(rawSeurats,features = c("nCount_RNA"))

VlnPlot(rawSeurats,features = c("percent.mt"))

I perform the qulity control analysis as proposed by Current best practices in single‐cell RNA‐seq analysis: a tutorial, which was published by Luecken at 2019. The distributions of these QC covariates are examined for outlier peaks that are filtered out by thresholding. After quality control, the features, counts, and the percentage of mitochondrial genes are checked again:

load("cluster/2_qc/cleanSeurats.RData")
dim(cleanSeurats);

## [1] 26428 17371

table(cleanSeurats@active.ident)

##
##  095  104  106  114  119  713  725  740
## 3719  406  435 5721 3030  894 1439 1727

VlnPlot(cleanSeurats,features = c("nFeature_RNA"))

VlnPlot(cleanSeurats,features = c("nCount_RNA"))

VlnPlot(cleanSeurats,features = c("percent.mt"))

The plots show that the outlier value are deleted.

Cluster and annotation¶

The Seurat package then is used to preform PCA, reduction, cluster, UMAP and TSNE analysis

1. PCA¶

I conduct the PCA analysis for all cells :

load("cluster/3_cluster/cleanSeurats_standard.RData")
DimPlot(object = cleanSeurats, reduction = "pca",label =T)

DimPlot(object = cleanSeurats, reduction = "pca",label =T,group.by = "orig.ident")

The PCA plots show that maybe batch effect exist. The CCA method is used to adjust batch effect. I then perform the CCA analysis to adjust the batch effect:

load("cluster/3_cluster/cleanSeurats_adjusted.RData")
DimPlot(object = cleanAdjustSeurats, reduction = "tsne",label =T,group.by = "orig.ident")

DimPlot(object = cleanAdjustSeurats, reduction = "umap",label =T,group.by = "orig.ident")

Due to the heterogeneity patients with liver cancer, the tumor cell across cancer samples should be independent each other. However, these cells are mixed. I think that the batch effect is over-estimated. Finally, I decide to run standard workflow as Seurat proposed. The step of batch effect adjustion analysis is skipped.

2. Reduction and TSNE analysis¶

The UMAP and TSNE plot are drew below:

load("cluster/3_cluster/cleanSeurats_standard.RData")
DimPlot(object = cleanSeurats, reduction = "tsne",label =T)

DimPlot(object = cleanSeurats, reduction = "tsne",label =T,group.by = "orig.ident")

The patients with tumor cell are split, which is coincident with our common sense. However, in comparision with TSNE, the UMAP is better, which can clearly show the difference between case identify, and infiltrating immnue cells.

3. UMAP analysis¶

DimPlot(object = cleanSeurats, reduction = "umap",label =T)

DimPlot(object = cleanSeurats, reduction = "umap",label =T,group.by = "orig.ident")

Taken together, we used UMAP to show the cluster of different cell types. The SingleR and markers are combined to define different cell types.

load("cluster/3_cluster/cleanSeurats_anno.RData")
DimPlot(object = cleanSeurats, reduction = "umap",label =T,group.by = "celltype_fine")

The downstream analyses of Single cell RNA-seq data¶

Cell type heterogeneity¶

We find that the cells from the same case are tended to cluster together:

DimPlot(object = cleanSeurats, reduction = "umap",label =T,group.by = "celltype_fine")

However, different HCC case have different proportion of immune cells. The proportion of different cells in 8 HCC cases are calculated :

library(data.table)
library(ggplot2)
library(ggpubr)
library(stringr)
load("cluster/3_cluster/cleanSeurats_anno.RData")

############### T cells and macrophages
# cell proportion in cases
anno = cleanSeurats@meta.data %>% setDT()
cellPro = anno[,.(totalNum=.N,
                  Non_M2=sum(celltype_fine=="Macrophages")/.N,
                  M2=sum(celltype_fine=="M2-macrophages")/.N,
                  CD8=sum(celltype_fine=="CD8 cells")/.N,
                  CD4=sum(celltype_fine=="CD4 cells")/.N,
                  B_cells=sum(celltype_fine=="B cells")/.N,
                  NK=sum(celltype_fine=="NK cells")/.N,
                  Tumor=sum(str_detect(celltype_fine,"^#"))/.N,
                  Other=sum(celltype_fine%in%c("Endothelial cells","Treg cells"))/.N),by="orig.ident"]
rowSums(cellPro[,-c(1:2)]) # equal to 1

## [1] 1 1 1 1 1 1 1 1

y=as.matrix(t(cellPro[,-c(1:2)]))
barplot(y,xlim=c(0, ncol(y) + 4),
        col=c("red","black","blue","yellow","gray","green","white","purple"),
        names.arg=cellPro$orig.ident,
        legend.text=TRUE,
        args.legend=list(
          x=ncol(y) + 4,
          y=max(colSums(y)),
          bty ="n"
        ))

T cells and macrophages¶

The correlation between proportion of T cells and macrophages in cases are calculated:

# correlation
ggplot(cellPro, aes(x = M2, y = CD8)) +
  geom_point() +
  stat_smooth(method = "lm", col = "blue")+
  stat_cor(label.x = 0, label.y = -0.2) +
  labs(title="scRNA-seq cohort", x="M2 macrophages proportion", y="CD8T proportion")+
  theme(plot.title = element_text(hjust = 0.5))

To compared with bulk RNA-seq , the immune cell deconvolution analysis is performed, and the correaltion relationship is represent by linear model :

# tcga immune cell
lihc = read.csv("cluster/6_prognosis/TCGA_LIHC_TME_results.csv",head=T)
ggplot(lihc, aes(x = Macrophages.M2, y = T.cells.CD8)) +
  geom_point() +
  stat_smooth(method = "lm", col = "blue")+
  stat_cor(label.x = 0.4, label.y = 0.4)+
  labs(title="TCGA LIHC cohort", x="M2 macrophages proportion", y="CD8T proportion")+
  theme(plot.title = element_text(hjust = 0.5))

We also detect inverse correlation between the proportions of infiltrating T cells and macrophages.

Immunosuppressive marker expression of TAMs¶

We examined the expression of reported immunosuppressive genes in TAMs:

load("cluster/3_cluster/cleanSeurats_anno.RData")
FeaturePlot(cleanSeurats, features = c("LAIR1","HAVCR2","LGALS9","VSIR"))

DimPlot(object = cleanSeurats, label =T,group.by = "celltype_fine")

These markers are enriched in TAM cells. In addition, the pattern of CD163 (M2 macrophages marker) expression and LAIR1 is similar:

cellKeep = colnames(cleanSeurats)[cleanSeurats@meta.data$celltype_main=="Macrophages"]
VlnPlot(subset(cleanSeurats,cells=cellKeep), features = c("CD163", "LAIR1", "CD68","HAVCR2","LGALS9","VSIR"))

These suggest the immunosuppressive function of TAMs might be exerted via LAIR1. In addition, the high expression of LAIR1 and HAVCR2 is significantly associated with poorer overall or disease-free survival of HCC patients.

The overall survival for LAIR1 , and for HAVCR2 .

The disease-free survival for LAIR1 , and for HAVCR2 .

Cell trajectory¶

library(monocle3)
library(SeuratWrappers)
load("cluster/3_cluster/cleanSeurats_anno.RData")
get_earliest_principal_node <- function(cds, cluster="1"){
  cell_ids <- which(colData(cds)[, "seurat_clusters"] == cluster)

closest_vertex <- cds@principal_graph_aux[["UMAP"]]$pr_graph_cell_proj_closest_vertex
  closest_vertex <- as.matrix(closest_vertex[colnames(cds), ])
  root_pr_nodes <-  igraph::V(principal_graph(cds)[["UMAP"]])$name[as.numeric(names(which.max(table(closest_vertex[cell_ids,]))))]

root_pr_nodes
}

cds <- as.cell_data_set(cleanSeurats)
cds <- estimate_size_factors(cds)
cds@rowRanges@elementMetadata@listData[["gene_short_name"]] <- rownames(cleanSeurats[["RNA"]])

We do the single cell trajectory for CD8 population, and observed that gradual transition of CD8 T cells towards the subpopulations with exhaustion status was indicated by the upregulation of PDCD1 (PD-1) and TIGIT (T cell immunoreceptor with Ig and ITIM domains).

cds_subset <- cds[, colData(cds)$seurat_clusters%in% c(10,16)]
cds_subset <- cluster_cells(cds_subset)
cds_subset <- learn_graph(cds_subset)
cds_subset <- order_cells(cds_subset,root_pr_nodes=get_earliest_principal_node(cds_subset,cluster=10))
# for CD8
plot_cells(cds_subset,
           label_cell_groups=T,
           color_cells_by = "pseudotime",
           show_trajectory_graph=F)

plot_cells(cds_subset,
           label_cell_groups=T,
           genes=c("PDCD1","TIGIT"),
           show_trajectory_graph=F)

We find that exhaustion status was indicated by the downregulation of FCGR3A (activation marker) and upregulation of KLRC1 (exhaustion marker).

# for NK cells
cds_subset <- cds[, colData(cds)$seurat_clusters%in% c(15)]
cds_subset <- cluster_cells(cds_subset)
cds_subset <- learn_graph(cds_subset)
cds_subset <- order_cells(cds_subset,root_pr_nodes=get_earliest_principal_node(cds_subset,cluster=15))

plot_cells(cds_subset,
           label_cell_groups=T,
           color_cells_by = "pseudotime",
           show_trajectory_graph=F)

plot_cells(cds_subset,
           label_cell_groups=T,
           genes=c("FCGR3A","KLRC1"),
           show_trajectory_graph=F)

We find the transition toward a more immunosuppressive state for Treg cells, as indicated by the enriched PDCD1 expression.

cds_subset <- cds[, colData(cds)$seurat_clusters%in% c(5,29)]
cds_subset <- cluster_cells(cds_subset)
cds_subset <- learn_graph(cds_subset)
cds_subset <- order_cells(cds_subset,root_pr_nodes=get_earliest_principal_node(cds_subset,cluster=5))
plot_cells(cds_subset,
           label_cell_groups=T,
           color_cells_by = "pseudotime",
           show_trajectory_graph=F)

plot_cells(cds_subset,
           label_cell_groups=T,
           genes=c("PDCD1"),
           show_trajectory_graph=F)

For macrophages, a dynamic transition towards more immunosuppressive M2 macrophages featured by CD163 and LAIR1 expression.

# for TAMs
cds_subset <- cds[, colData(cds)$seurat_clusters%in% c(3,9,14,18,21)]
cds_subset <- cluster_cells(cds_subset)
cds_subset <- learn_graph(cds_subset)
cds_subset <- order_cells(cds_subset,root_pr_nodes=get_earliest_principal_node(cds_subset,cluster=9))

plot_cells(cds_subset,
           label_cell_groups=T,
           color_cells_by = "pseudotime",
           show_trajectory_graph=F)

plot_cells(cds_subset,
           label_cell_groups=T,
           genes=c("CD163","LAIR1"),
           show_trajectory_graph=F)

Regarding the CD4 T cells, they were mainly type 1 (Th1) and type 2T helper (Th2) cells, as indicated by their respective enrichment in the expression of STAT4 (cell cluster 11) and GATA3 (cell cluster 12).

cds_subset <- cds[, colData(cds)$seurat_clusters%in% c(1,2,6,17)]
cds_subset <- cluster_cells(cds_subset)
cds_subset <- learn_graph(cds_subset)
cds_subset <- order_cells(cds_subset,root_pr_nodes=get_earliest_principal_node(cds_subset,cluster=2))
plot_cells(cds_subset,
           label_cell_groups=T,
           color_cells_by = "pseudotime",
           show_trajectory_graph=F)

plot_cells(cds_subset,
           label_cell_groups=T,
           genes=c("STAT4","GATA3"),
           show_trajectory_graph=F)

Immune checkpoints¶

Immune checkpoints function as “brakes” on T cell immune responses resulting in the weakening of T cell attack and immune tolerance or escape. We examined the cell-cell interaction status in different cell, and the co-stimulatory and co-inhibitory checkpoints in shaping the immunosuppressive andscape in HCC are estimated :

mypvals <- read.delim("cluster/7_interaction/out/pvalues.txt", check.names = FALSE)
mymeans <- read.delim("cluster/7_interaction/out/means.txt", check.names = FALSE)
costimulatory <- grep("ICOS|ICOSLG|TNFRSF4|TNFRSF8|TNFRSF9|TNFRSF18|CD40LG|CD40|CD27|CD70|CD28|CD80|CD86|CD226|PVR|NECTIN1|NECTIN2|NECTIN3|NECTIN4|TNFSF14|TNFRSF14",
                      mymeans$interacting_pair,value = T)
coinhibitory <- grep("PDCD1|CD274|PDCD1LG2|HAVCR2|LGALS9|LAIR1|PTPN6|PTPN11|CTLA4|CD80|CD86|TIGIT|PVR|NECTIN1|NECTIN2|NECTIN3|NECTIN4|CD160|BTLA|TNFRSF14",
                     mymeans$interacting_pair,value = T)

# plot for co-stimulatory
meansdf = mymeans %>% dplyr::filter(interacting_pair %in% costimulatory) %>%
  dplyr::select(c("interacting_pair","CD4 cells|Tumor","CD8 cells|Tumor","Treg cells|Tumor","NK cells|Tumor",
                  "CD4 cells|Macrophages","CD8 cells|Macrophages","Treg cells|Macrophages","NK cells|Macrophages"))  %>%
reshape2::melt()
colnames(meansdf)<- c("interacting_pair","CC","means")
meansdf$joinlab <- paste0(meansdf$interacting_pair,"_",meansdf$CC)

pvalsdf = mypvals %>% dplyr::filter(interacting_pair %in% costimulatory)%>%
  dplyr::select(c("interacting_pair","CD4 cells|Tumor","CD8 cells|Tumor","Treg cells|Tumor","NK cells|Tumor",
                  "CD4 cells|Macrophages","CD8 cells|Macrophages","Treg cells|Macrophages","NK cells|Macrophages"))%>%
reshape2::melt()
colnames(pvalsdf)<- c("interacting_pair","CC","pvals")
pvalsdf$joinlab <- paste0(pvalsdf$interacting_pair,"_",pvalsdf$CC)

ccInter <- merge(pvalsdf,meansdf,by = "joinlab")
summary(ccInter$means)

##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max.
##  0.0000  0.0160  0.0765  0.1538  0.2085  1.1570

ccInter %>% dplyr::filter(means > 0.1) %>%
  ggplot(aes(CC.x,interacting_pair.x) )+
  geom_point(aes(size=means,colour= -log10(pvals+0.0001))) +
  scale_color_continuous(name=c("-log10(P-value)"),low = "black", high = "red")+
  theme_bw()+ labs(x="",y="")+
  theme(axis.text.x = element_text(angle = -45,hjust = -0.1,vjust = 0.8))

# plot for co-inhibitory
meansdf = mymeans %>% dplyr::filter(interacting_pair %in% coinhibitory) %>%
  dplyr::select(c("interacting_pair","CD4 cells|Tumor","CD8 cells|Tumor","Treg cells|Tumor","NK cells|Tumor",
                  "CD4 cells|Macrophages","CD8 cells|Macrophages","Treg cells|Macrophages","NK cells|Macrophages"))  %>%
reshape2::melt()
colnames(meansdf)<- c("interacting_pair","CC","means")
meansdf$joinlab <- paste0(meansdf$interacting_pair,"_",meansdf$CC)

pvalsdf = mypvals %>% dplyr::filter(interacting_pair %in% coinhibitory)%>%
  dplyr::select(c("interacting_pair","CD4 cells|Tumor","CD8 cells|Tumor","Treg cells|Tumor","NK cells|Tumor",
                  "CD4 cells|Macrophages","CD8 cells|Macrophages","Treg cells|Macrophages","NK cells|Macrophages"))%>%
reshape2::melt()
colnames(pvalsdf)<- c("interacting_pair","CC","pvals")
pvalsdf$joinlab <- paste0(pvalsdf$interacting_pair,"_",pvalsdf$CC)

ccInter <- merge(pvalsdf,meansdf,by = "joinlab")
summary(ccInter$means)

##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max.
## 0.00000 0.02775 0.10650 0.17020 0.23875 1.15700

ccInter%>% dplyr::filter(means > 0.1) %>%
  ggplot(aes(CC.x,interacting_pair.x) )+
  geom_point(aes(size=means,colour= -log10(pvals+0.0001))) +
  scale_color_continuous(name=c("-log10(P-value)"),low = "black", high = "red")+
  theme_bw()+ labs(x="",y="")+
  theme(axis.text.x = element_text(angle = -45,hjust = -0.1,vjust = 0.8))

We identified a prominent co-inhibitory signal via the TIGIT-NECTIN2 axis in T cells and antigen-presenting cells (APCs, i.e. macrophages and tumor cells):

FeaturePlot(cleanSeurats, features = c("TIGIT","NECTIN2"))

Cell interactions¶

We evaluated the degree of cell-cell communication according to different ligand-receptor relationships. The tumor cells contributing ligands, tumor cells contributing receptors, TAMs contributing ligands and TAMs contributing receptors are presented as :

# plot for tumor ligand
meansdf = mymeans %>% dplyr::select("interacting_pair",starts_with("Tumor"))
meansdf = meansdf[!duplicated(meansdf$interacting_pair),]
row.names(meansdf) = meansdf$interacting_pair
meansdf = as.matrix(meansdf[,-1])
pvalsdf = mypvals[!duplicated(mypvals$interacting_pair),]
row.names(pvalsdf) = pvalsdf$interacting_pair
pvalsdf = pvalsdf[row.names(meansdf),colnames(meansdf)]
meansdf = meansdf[apply(pvalsdf,1,function(x) { sum(x<0.05)>3}),]
pheatmap::pheatmap(meansdf)

# plot for tumor receptor
meansdf = mymeans %>% dplyr::select("interacting_pair",ends_with("Tumor"))
#meansdf = meansdf[!str_detect(meansdf$interacting_pair,pattern=" "),]
meansdf = meansdf[!duplicated(meansdf$interacting_pair),]
row.names(meansdf) = meansdf$interacting_pair
meansdf = as.matrix(meansdf[,-1])
pvalsdf = mypvals[!duplicated(mypvals$interacting_pair),]
row.names(pvalsdf) = pvalsdf$interacting_pair
pvalsdf = pvalsdf[row.names(meansdf),colnames(meansdf)]
meansdf = meansdf[apply(pvalsdf,1,function(x) { sum(x<0.05)>3}),]
pheatmap::pheatmap(meansdf)

#plot for TAM ligand
meansdf = mymeans %>% dplyr::select("interacting_pair",starts_with("Macrophages"))
#meansdf = meansdf[!str_detect(meansdf$interacting_pair,pattern=" "),]
meansdf = meansdf[!duplicated(meansdf$interacting_pair),]
row.names(meansdf) = meansdf$interacting_pair
meansdf = as.matrix(meansdf[,-1])
pvalsdf = mypvals[!duplicated(mypvals$interacting_pair),]
row.names(pvalsdf) = pvalsdf$interacting_pair
pvalsdf = pvalsdf[row.names(meansdf),colnames(meansdf)]
meansdf = meansdf[apply(pvalsdf,1,function(x) { sum(x<0.05)>3}),]
pheatmap::pheatmap(meansdf)

# plot for TAM receptor
meansdf = mymeans %>% dplyr::select("interacting_pair",ends_with("Macrophages"))
#meansdf = meansdf[!str_detect(meansdf$interacting_pair,pattern=" "),]
meansdf = meansdf[!duplicated(meansdf$interacting_pair),]
row.names(meansdf) = meansdf$interacting_pair
meansdf = as.matrix(meansdf[,-1])
pvalsdf = mypvals[!duplicated(mypvals$interacting_pair),]
row.names(pvalsdf) = pvalsdf$interacting_pair
pvalsdf = pvalsdf[row.names(meansdf),colnames(meansdf)]
meansdf = meansdf[apply(pvalsdf,1,function(x) { sum(x<0.05)>3}),]
pheatmap::pheatmap(meansdf)

In general, HCC tumor cells frequently interacted with immune cells.

Subclonal heterogeneity¶

The unsupervised hierarchical clustering of LCSC markers is shown as _cluster" />. All cells are split into 7 clusters, one of which including 6 cells can be ignored: _umap" /> We find that the modest correlation between case identity and LCSC marker group status.

To further explore the heterogeneity landscape of HCC tumor cell, the CNV status is inferred using infercnv package. The results showed that there are 9 major group of HCC tumor cells. These cells from 9 major group are clustered together according to their case identify.

Idea¶

to research molecular mechanism of key gene based on conditional knockout mice, regrading their basic structure and function, novelty, and unique expressed in certain cell.
using new technology to sequence the HCC sample, such as spatial single RNA-seq technology.

miRNA的靶基因预测详细教程

2020-11-11T10:20:00+08:00

最近发现很多人对预测miRNA的靶基因感兴趣，因此分享一下这方面的知识。通过生信算法预测miRNA靶基因的网站有很多，下面例举3个常见网站，并给出详细使用教程。

一般来说，预测网站的假阳性会比较高，我们可以同时用这些网站进行预测，然后取交集来提高准确率。下面以miR-320为例进行说明。

miRTarBase ¶

以hsa-miR-320a为例，查询后的结果如下图所示：

其中值得注意的是：所有的相互作用对来源于6种证据，有reporter assay, western blot, qPCR, Microarray, NGS, PSILAC。前面三种证据的可靠较强。

miRDB ¶

miRDB的可靠性则通过Target Score来体现，从高到低进行排序。点击相对应的Details可以查看相匹配的位点。

TargetScan ¶

TargetScan 则通过搜索mRNA的保守 8mer, 7mer, 和6mer 位点来与miRNA相匹配。然后按一个总的得分进行排序。

批量分析¶

除了单个miRNA输入查询外，这3个网站同时也提供了数据下载服务。我们可以把miRNA-mRNA相互作用的关系对下载下来，然后用R语言处理一下，就可以批量分析miRNA的靶基因了。

下面是针对人类的预测分析：

rm(list=ls());options(stringsAsFactors=F)
library(stringr)
library(biomaRt)

miRNAs="miR-320a";species="hsa"
source=paste0(species,'-',miRNAs)
miRTarBase = read.csv("miRTarBase_MTI.csv",head=T)
miRDB = read.table("miRDB_v5.0_prediction_result.txt",head=F)
targetscan = read.table("Predicted_Targets_Context_Scores.default_predictions.txt",head=T,sep="\t")


## miRTarBase
miRTarBase_mRNA = miRTarBase[str_detect(miRTarBase$miRNA,paste0('^',source,'$|^',source,'-[35]p')),]

## miRDB
miRDB_mRNA = miRDB[str_detect(miRDB$V1,paste0('^',source,'$|^',source,'-[35]p')),] 
ensembl = useEnsembl(biomart="ensembl", dataset="hsapiens_gene_ensembl")
miRDBgene = getBM(attributes = c( 'refseq_mrna',"hgnc_symbol"), filters = 'refseq_mrna', values = unique(miRDB_mRNA$V2), mart = ensembl)
miRDBgene = miRDBgene[miRDBgene$hgnc_symbol!="",]
miRDB_mRNA = merge(miRDB_mRNA,miRDBgene,by.x="V2",by.y="refseq_mrna",sort=F)

## TargetScan
targetscan_mRNA = targetscan[str_detect(targetscan$miRNA,paste0('^',source,'$|^',source,'-[35]p')),]

## merge
res = merge(miRTarBase_mRNA,targetscan_mRNA,by.x="Target.Gene",by.y="Gene.Symbol")
res = merge(res,miRDB_mRNA,by.x="Target.Gene",by.y="hgnc_symbol")
write.csv(res,file="miRNAtargetGene.csv",row.names = F,col.names = F)

这个代码还不完善，之后有机会把它们做成一个R软件包，更方便使用。

生物信息最佳入门实践路线图

2020-10-10T10:20:00+08:00

生物信息最佳入门实践路线图¶

介绍¶

生信是一门交叉学科，要学习的东西非常多。本人从2011年开始学习生信，深知它的博大精深。因此，给大家推荐一些学习资料，可以快速入门。由于我是一位喜欢阅读多过视听学习的人，所以书籍都是亲自阅读过的，但是视频并没有认真看过。

下面这张图展示了生信学习的路线图。一开始可能就是学习一门编程语言，首选R语言，然后是python。其次如果你要处理大量测序数据，你得学习linux操作系统。最后最重要的一步是：利用项目不断进行实践。当然最终目标还是为了理解生物学，利用你的生物学知识来解释分析结果对生物学的意义。

其实生信这一领域或者说计算机这一领域最重要的一个能力就是学习。学习怎么搜索问题和答案并亲自去尝试。得学会怎么高效搜索，可以google, bing, QQ群，论坛（如stackoverflow），老师和同学等。大部分问题都可以在网上得到解决，相信我，你肯定不是第一个碰到问题的人。然后是在QQ或论坛去请教，当然如果你身边有生信的高手请教可以节省大量时间。

所有资料我都尽量用开源免费的，这样省掉很多学习成本。另外有一些收集的pdf书籍放在百度云上，链接，提取码：bioT。如果失效了请在最下方的评论区提醒一下。

R语言¶

如果你想快速入门深信，请必学R语言。这是一门开源的编程语言，主要优势在于统计和绘图，以及极其丰富的软件包。

R语言资料¶

如果你是一位喜欢视听学习这种方式的，请参考生信技能树的生信人应该这样学R语言。
如果你是一位喜欢阅读学习这种方式，请参考R for beginners和R现代统计图形。如果你有余力还可以学习R语言实战及ggplot2:数据分析与图形艺术等深入内容。
最后进行这20个R语言习题进行实践，加深印象。如果你没有时间，而且入门资料都能看得懂，也可以跳过这步，在项目实践阶段结合自己课题进行练习。

linux¶

如果要对测序后的原始数据进行上游分析的话，你一定得学会Linux。如果你不用处理多组学数据的原始序列，那么这个可以跳过。

入门视频：https://www.bilibili.com/video/av28813815
书籍：鸟哥的linux私房菜是繁体字，也有转成简体中文版本。
linux 实践：http://www.bio-info-trainee.com/2900.html

python¶

python是一门胶水语言，基本上什么都干，尤其是在机器学习方面。目前很多机器学习和神经网络的开源项目都是用python写的，如果你有兴趣往这方面发展。python是非学不可的。

编辑入门：笨办法学 Python
机器学习入门：python机器学习基础教程（Andreas C.Muller and Sarah Guido著，张亮译）
神经网络入门：[Python深度学习（Francois Chollet 著，张亮译）

项目实践¶

目前没找到好的开源项目进行实践，这个跟课题组的研究内容相关。不过下面列出一些组学的内容可以用来实践。

转录组：https://www.bilibili.com/video/av28453557
单细胞组：https://www.bilibili.com/video/av38741055
肿瘤免疫的生信分析，分享一些文献进行具体实战。链接：https://pan.baidu.com/s/10nUWgVR4SRT83Qwmwuy0pg 提取码：qapd

在win10中使用ubuntu子系统WSL如何安装g++

2020-09-15T00:00:00+08:00

前言¶

偷偷告诉你一个秘密，一般人我不会说的，那就是WSL实在是太好用了。

Windows系统是全世界用户最多的，一直以来我也是用这个系统。不过有一个缺点就是没有terminal，虽然有dos操作，不过和Linux的bash相比实在弱爆了。但是我又不想放弃windows系统，这成为我心里的一个疙瘩。

目前来说，主要有3种方法可以在windows下实现linux的bash操作。

第1种就是安装虚拟机。也就是说在你的电脑里再安装一个系统，具体实现流程可参考这篇博客。缺点就是比较笨重，耗内存，最不能忍的是和你的电脑并不共享文件，相当于另一个电脑。
第2种方法是使用docker。自己制作一个镜像，上传到docker hub上。貌似就可以随时随地使用了，如果有更新还可以自主更新。不过这个得有docker基础，学会还不是一时半会的事。
于是找到第3种方法使用windows subsystem for linux（WSL）。windows自带这个可选功能，可以实现bash所有操作。这个相当于在你电脑上安装了轻巧型ubuntu系统，可以直接对磁盘上的文件进行操作。

安装¶

怎么安装这里就不细说了，网上教程一大堆。可以参考一直学的博客，写的很详细了。

使用¶

折腾半天终于把WSL 安装好，当你兴冲冲打开ubuntu的terminal想安装一个软件时，会报下面这个错误。

Reading package lists... Done
Building dependency tree
Reading state information... Done
E: Unable to locate package build-essentials

不过一直学的博客也谈到这个问题，这是因为软件源不行，得换国内的软件源。参考网上的说法，觉得中科大的软件源比较好用。于是成功按照步骤进行更换。没问题…个鬼啊，这是个巨坑。后面安装R软件包的时候会详细描述。

安装R软件¶

本人是做生信的，R软件是必不可少的工具之一。可以直接用sudo apt install r-base来安装，不过默认的 Ubuntu 软件源中的 R 软件包经常都是过时的，我们得从CRAN软件源中安装 R。可以按下面的方式进行安装：

# 01.安装必要的软件包，添加一个新的软件源：
sudo apt install dirmngr gnupg apt-transport-https ca-certificates software-properties-common
# 02.将 CRAN 软件源 添加到你的系统源列表：
sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys E298A3A825C0D65DFD57CBB651716619E084DAB9
sudo add-apt-repository 'deb https://cloud.r-project.org/bin/linux/ubuntu focal-cran40/'

# 03.输入下面的命令，安装 R：
sudo apt install r-base

# 04.安装过程会持续几分钟完成。一旦完成，打印 R 的版本，验证它是否安装成功：
R --version

如果你发现出现下面的结果，现在是2020-09月，说明R版本是官网上最新的就没问题了。

R version 4.0.2 (2020-06-22) -- "Taking Off Again"
Copyright (C) 2020 The R Foundation for Statistical Computing
Platform: x86_64-pc-linux-gnu (64-bit)

R is free software and comes with ABSOLUTELY NO WARRANTY.
You are welcome to redistribute it under the terms of the
GNU General Public License versions 2 or 3.
For more information about these matters see
https://www.gnu.org/licenses/.

安装R软件包¶

由于运行R程序需要httr包，直接在bash上输入R打开R的交互窗口后，我们可以用下面的代码进行安装：

# 由于R官网的软件包默认是放在国外服务器上的，对国内用户下载不友好，我们可以换清华的软件源。
options(BioC_mirror="http://mirrors.tuna.tsinghua.edu.cn/bioconductor/")##指定BioC_mirror镜像是清华镜像
options("repos" = c(CRAN="http://mirrors.tuna.tsinghua.edu.cn/CRAN/")) ##指定install.packages安装镜像是清华镜像
install.packages("httr")

之后会遇到这个错误：

* installing *source* package ‘sys’ ...
** package ‘sys’ successfully unpacked and MD5 sums checked
** using staged installation
** libs
gcc -std=gnu99 -I"/usr/share/R/include" -DNDEBUG      -fpic  -g -O2 -fdebug-prefix-map=/build/r-base-5iUtQS/r-base-4.0.2=. -fstack-protector-strong -Wformat -Werror=format-security -Wdate-time -D_FORTIFY_SOURCE=2 -g  -c exec.c -o exec.o
In file included from exec.c:6:0:
/usr/share/R/include/Rinternals.h:39:11: fatal error: stdio.h: No such file or directory
 # include <stdio.h>
           ^~~~~~~~~
compilation terminated.
/usr/lib/R/etc/Makeconf:167: recipe for target 'exec.o' failed
make: *** [exec.o] Error 1
ERROR: compilation failed for package ‘sys’
* removing ‘/home/zhangfeng/R/x86_64-pc-linux-gnu-library/4.0/sys’
* installing *source* package ‘curl’ ...
** package ‘curl’ successfully unpacked and MD5 sums checked
** using staged installation
Using PKG_CFLAGS=
Using PKG_LIBS=-lcurl
------------------------- ANTICONF ERROR ---------------------------
Configuration failed because libcurl was not found. Try installing:
 * deb: libcurl4-openssl-dev (Debian, Ubuntu, etc)
 * rpm: libcurl-devel (Fedora, CentOS, RHEL)
 * csw: libcurl_dev (Solaris)
If libcurl is already installed, check that 'pkg-config' is in your
PATH and PKG_CONFIG_PATH contains a libcurl.pc file. If pkg-config
is unavailable you can set INCLUDE_DIR and LIB_DIR manually via:
R CMD INSTALL --configure-vars='INCLUDE_DIR=... LIB_DIR=...'
--------------------------------------------------------------------
ERROR: configuration failed for package ‘curl’
* removing ‘/home/zhangfeng/R/x86_64-pc-linux-gnu-library/4.0/curl’
* installing *source* package ‘jsonlite’ ...
** package ‘jsonlite’ successfully unpacked and MD5 sums checked
** using staged installation
** libs
gcc -std=gnu99 -I"/usr/share/R/include" -DNDEBUG -Iyajl/api    -fvisibility=hidden  -fpic  -g -O2 -fdebug-prefix-map=/build/r-base-5iUtQS/r-base-4.0.2=. -fstack-protector-strong -Wformat -Werror=format-security -Wdate-time -D_FORTIFY_SOURCE=2 -g  -c base64.c -o base64.o
base64.c:6:10: fatal error: stdlib.h: No such file or directory
 #include <stdlib.h>
          ^~~~~~~~~~
compilation terminated.
/usr/lib/R/etc/Makeconf:167: recipe for target 'base64.o' failed
make: *** [base64.o] Error 1
ERROR: compilation failed for package ‘jsonlite’
* removing ‘/home/zhangfeng/R/x86_64-pc-linux-gnu-library/4.0/jsonlite’
* installing *source* package ‘mime’ ...
** package ‘mime’ successfully unpacked and MD5 sums checked
** using staged installation
** libs
gcc -std=gnu99 -I"/usr/share/R/include" -DNDEBUG      -fpic  -g -O2 -fdebug-prefix-map=/build/r-base-5iUtQS/r-base-4.0.2=. -fstack-protector-strong -Wformat -Werror=format-security -Wdate-time -D_FORTIFY_SOURCE=2 -g  -c init.c -o init.o
In file included from init.c:1:0:
/usr/share/R/include/R.h:55:11: fatal error: stdlib.h: No such file or directory
 # include <stdlib.h> /* Not used by R itself, but widely assumed in packages */
           ^~~~~~~~~~
compilation terminated.
/usr/lib/R/etc/Makeconf:167: recipe for target 'init.o' failed
make: *** [init.o] Error 1
ERROR: compilation failed for package ‘mime’
* removing ‘/home/zhangfeng/R/x86_64-pc-linux-gnu-library/4.0/mime’
ERROR: dependency ‘sys’ is not available for package ‘askpass’
* removing ‘/home/zhangfeng/R/x86_64-pc-linux-gnu-library/4.0/askpass’
ERROR: dependency ‘askpass’ is not available for package ‘openssl’
* removing ‘/home/zhangfeng/R/x86_64-pc-linux-gnu-library/4.0/openssl’
ERROR: dependencies ‘curl’, ‘jsonlite’, ‘mime’, ‘openssl’ are not available for package ‘httr’
* removing ‘/home/zhangfeng/R/x86_64-pc-linux-gnu-library/4.0/httr’

The downloaded source packages are in
        ‘/tmp/RtmpG9wQX4/downloaded_packages’
Warning messages:
1: In install.packages("httr") :
  installation of package ‘sys’ had non-zero exit status
2: In install.packages("httr") :
  installation of package ‘curl’ had non-zero exit status
3: In install.packages("httr") :
  installation of package ‘jsonlite’ had non-zero exit status
4: In install.packages("httr") :
  installation of package ‘mime’ had non-zero exit status
5: In install.packages("httr") :
  installation of package ‘askpass’ had non-zero exit status
6: In install.packages("httr") :
  installation of package ‘openssl’ had non-zero exit status
7: In install.packages("httr") :
  installation of package ‘httr’ had non-zero exit status

仔细看错误信息，这应该是g++没有安装。q()关闭R交互窗口，返回bash。我们查看一下g++的情况：g++ --version 。bash会给出下面的信息g++: command not found。这说明g++是没安装的。sudo apt-get install g++安装起走，但是结果却出人意料：

Reading package lists... Done
Building dependency tree
Reading state information... Done
Some packages could not be installed. This may mean that you have
requested an impossible situation or if you are using the unstable
distribution that some required packages have not yet been created
or been moved out of Incoming.
The following information may help to resolve the situation:

The following packages have unmet dependencies:
 g++ : Depends: g++-7 (>= 7.4.0-1~) but it is not going to be installed
E: Unable to correct problems, you have held broken packages.

这里就是踩坑的开始。在google上看了n多帖子，尝试了很多方法，发现都行不通。比如说安装build-essentials，更新软件什么的，都不行。具体可以看这个帖子，谈论的比较多。不过怎么尝试就是安装不了。后来无意中看CediOsman的博客，里面谈到更换ubuntu的软件源时，得根据版本号来。由于我们安装的版本是Ubuntu 20.04.1 LTS，比较新。网上的ubuntu的软件源得修改一下才能用，不修改很多的软件都安装不了。因此可以按下面的步骤来安装：

查看新版本信息

$ lsb_release -a
No LSB modules are available.
Distributor ID: Ubuntu
Description:    Ubuntu 20.04.1 LTS
Release:        20.04
Codename:       focal

这个codename也就是系统代号是很重要的。

重新更换中科院的源

由于网上很多软件源都是用于系统代号为bionic的ubuntu系统，所以这里一定要改成focal。打开sources.list，sudo vim /etc/apt/sources.list将原来的东西清空，把下面的源地址粘贴上去：

# 默认注释了源码仓库，如有需要可自行取消注释
deb https://mirrors.ustc.edu.cn/ubuntu/ focal main restricted universe multiverse
# deb-src https://mirrors.ustc.edu.cn/ubuntu/ focal main restricted universe multiverse
deb https://mirrors.ustc.edu.cn/ubuntu/ focal-updates main restricted universe multiverse
# deb-src https://mirrors.ustc.edu.cn/ubuntu/ focal-updates main restricted universe multiverse
deb https://mirrors.ustc.edu.cn/ubuntu/ focal-backports main restricted universe multiverse
# deb-src https://mirrors.ustc.edu.cn/ubuntu/ focal-backports main restricted universe multiverse
deb https://mirrors.ustc.edu.cn/ubuntu/ focal-security main restricted universe multiverse
# deb-src https://mirrors.ustc.edu.cn/ubuntu/ focal-security main restricted universe multiverse

更新ubuntu的源及相关软件

sudo apt-get update
sudo apt-get update

没有报错的话，证明软件源更新成功。

安装g++

sudo apt-get install g++
sudo apt-get install r-base-dev #最好把这个安上，可以解决很多

看到ｇ++软件没有报错，安装成功，瞬间就觉得前面的折腾值了。

安装R软件包

直接install.packages("httr")安装httr也会报错，除了g++还需要安装一些底层库。不过由于g++这最基本的编译器已经安装好，后面就很简单，就是几句代码的事。

#curl是httr的依赖库，不安装libcurl4-openssl-dev也会报错。
sudo apt-get install libcurl4-openssl-dev 
# openssl也是httr依赖库，不安装libcurl4-openssl-dev也会报错。
sudo apt-get install  libssl-dev

然后进入R交互窗口安装httr包，直接install.packages("httr")安装。看到下面的信息表示已经成功安装。

*** installing help indices
** building package indices
** installing vignettes
** testing if installed package can be loaded from temporary location
** testing if installed package can be loaded from final location
** testing if installed package keeps a record of temporary installation path
* DONE (httr)

The downloaded source packages are in
        ‘/tmp/Rtmp993tUS/downloaded_packages’

Finally，搞定WSL的基本配置，可以愉快地使用bash了。

免费创建个人静态网站最佳实践：hugo+github+netlify

2020-05-25T10:20:00+08:00

[toc]

一、前言¶

关于搭建一个博客或个人网站的好处不用我多说，但创建网站的难度可能会让人望而却步。本人从网络上获得过很多帮助，学到很多。很早就萌发了自己建网站并分享知识的想法，但是又不想在简书这类的网站上写作。原谅我是个拖延控，有时间就写一点，很可能一篇文章写好久，也不喜欢在网上编辑。此外，知识需要积累形成框架，由于平时我所有的笔记都放在有道云笔记中，复制粘贴到简书有时候格式不对，又不想进行二次编辑。最重要的是不够Geek（装逼）。

其实中间有过一段时间，利用hexo、github和github page创建过静态网站。但是用得不太顺手，原因有很多，比如：老是花时间在怎么改网页主题上，而不是专注在写作上；markdown（md）文件中的图片迁移很麻烦，网上的图片老是会丢失；github page 在国内打开很慢而且SEO不容易搜索到。因此，一直耽误到现在，但一直贼心不死，想得到一个不太需要维护，可以专注写作，文档可以同步（在别的电脑上也可以编辑），又很geek的网站。我的想法是把所有笔记保存在有道云笔记中进行维护和整理，需要分享的话可以在本地用typora写md文档。此外，md文档中的图片用图床解决移动问题，然后托管到git自动渲染成网页。这样只要图床不挂，分享或上传到其它平台就很方便，因为只要复制md文档就行。为什么不直接用有道云笔记中的md呢？因为插入图片得是VIP才行，而导出来的md文档里所有图片的超链接是私人链接，移到别的地方根本没办法显示图片。最终我觉得搭网站最好的方式是：hugo+github+Netlify。适合我的笔记保存和写作的最佳方式是：有道云笔记+typora+picgo。如果觉得太麻烦了，不想把博客和有道云笔记等之类的笔记工具连接在一起，也不会传到其它平台上，可以直接用typora写作，利用hugo的page bundle绑定图片。

关于利用hugo和Github建网站的博客很多，但是有些博客内容有些出入，可能是由于英文翻译或版本更新所造成的。这里建议大家直接看hugo的英文官网和hugo in action，或者官方翻译。此外，网上的博客可以进行参考。这篇博客主要针对搭建过程中可能遇到的问题进行记录，希望对大家有所帮助。

二、原理¶

那么如何用静态网页创建网站呢？很多博客一上来就直接讲方法，怎么一步步运行，得到一个简陋的网页。但是不知其所以然，因此这里想先介绍一下基本原理，方便理解和后面的debug。

首先你得在本地生成静态网页文件。这里推荐用hugo或hexo。
然后把静态网页文件托管到github仓库。这里推荐使用git和gitlab工具。
把远程的静态网页文件进行渲染，形成让大家可根据网址直接阅览的网页。可用github page和Netlify.
找到有道云笔记的md文件，用typora进行编辑，并用图床解决图片容易丢失问题。

关于hugo和hexo，github和gitlab，github page和Netlify的差别网上有很多博客，这里就不赘述了。目前我觉得最好的方式是：hugo+github+Netlify。

三、快速入门¶

如果有相关静态网页生成的经历，可以直接忽略快速入门，直接到下一节：进阶。

1、本地生成静态网页文件¶

如果不想看英文的，可以参考这篇和这篇中文入门。

下面简要阐述过程：

hugo new site hugo #建立站点以后，博客根目录下默认有这些文件和子目录：archetypes/  config.toml  content/     data/        layouts/     static/      themes/
cd hugo
git init
git submodule add https://github.com/budparr/gohugo-theme-ananke.git themes/ananke # 安装主题
echo 'theme = "ananke"' >> config.toml
hugo new posts/my-first-post.md
hugo server

这时出现类似下面的信息，说明生成静态网页成功。可以在浏览器上输入 http://localhost:1313/ 进行浏览。

Building sites …
                   | EN
-------------------+-----
  Pages            | 11
  Paginator pages  |  0
  Non-page files   |  1
  Static files     | 39
  Processed images |  0
  Aliases          |  2
  Sitemaps         |  1
  Cleaned          |  0

Built in 37 ms
Watching for changes in E:\blogs\hugo\{archetypes,content,data,layouts,static,themes}
Watching for config changes in E:\blogs\hugo\config.toml
Environment: "development"
Serving pages from memory
Running in Fast Render Mode. For full rebuilds on change: hugo server --disableFastRender
Web Server is available at http://localhost:1313/ (bind address 127.0.0.1)
Press Ctrl+C to stop

如果出现下面的错误：

hugo new posts/my-first-post.md
Error: "E:\blogs\quickstart\config.toml:3:1": unmarshal failed: Near line 3 (last key parsed ''): bare keys cannot contain '\x00'

这是因为E:\blogs\hugo\config.toml里面有一些NUL的间隔符，可能是由于echo的命令产生的。手动把它们删除就行了。

2、托管到github¶

把我们本地生成的静态网页托管到github上进行保存，而不用自己进行维护。首先在github上新建账号，并创建一个新的仓库，以仓库名为test为例。再下载安装git 。

cd .\public
git init
git add .
git commit -m "update"
git remote add origin https://github.com/你的git账户/test.git
git push origin master:master

这样就把东西上传到github上了。

为了方便发布网页，可以写成一个脚本，然后每次发布只要右键选择git bash here后运行./deploy.sh就可以。

#!/bin/bash

echo -e "\033[0;32mDeploying updates to GitHub...\033[0m"

# build the project
hugo
git add .

msg="rebuilding site `date`"

if [ $# -eq 1 ]
  then msg="$1"
fi

git commit -m "$msg"

# push source to github
git push origin master:master

3、用Netlify渲染网页¶

如果要求不高，可以直接用Github Pages进行托管。但是Github在国内打开速度很慢，所以建议用Netlify对托管到github上的静态网页进行布署。很简单，可以看这篇教程。至此一个简陋的网页就建好了。记得改一下Netlify自动分配给你的域名，不过只能更改前缀。要求不高也还好了。下面简单描述一下操作步骤：

用github的账号登陆Netlify。
点击右上角的Create new site
跳转到第一步，connect to git provider，选github
pick a repository，选择存放代码的仓库。
Build options and deploy。点击Deploying就ok了。
等待一会配置，就会出现网址了。类似这样的https://priceless-morse-029791.netlify.app。
复制粘贴网址就大功告成。

目前我们可以以网站形式来展示内容，但是初始化的见面一点也不cool啊。客官别急，请看下面进阶教程。

四、进阶¶

1、添加主题¶

首先我们可以到hugo主题库中找一个自己喜欢的主题。我比较喜欢的一个主题是academic，B站上还有人介绍Academic视频。由于大部分主题都已经有站点所需要的各种文件夹，所以不用自己再建站点。直接clone下来，把主题换成子模块的就行。快速入门的什么的可以忘记了^_^。

git clone https://github.com/sourcethemes/academic-kickstart.git My_Website
cd My_Website
git submodule update --init --recursive

2、修改网页布局¶

我们可以根据academic文档进行修改，变成你自己喜欢的样式。这个academic帮助文档讲得很清楚，这里就不赘述。

不过这里提一下添加评论系统，这应该是一个刚需。要不然没有互动在那孤芳自赏？

由于academic主题设置commento很方便，这里图方便直接用了：

把config/_default/params.toml中的engine = 0改成engine = 2。
~~注册commento账号，把你自己博客域名进行绑定即可。~~ commento后来发现是收费的，现改成valine。
valine的加载有点麻烦，可以参考博客。此外，国外用的比较多的有Disqus，国内有valine和Gittalk。不过Gitalk有点复杂，可参考这篇博客进行安装。

五、写作¶

1、图片管理¶

在md文档中插入的图片是一个麻烦事。一般来说有三种解决方案。如下所示

放置在static中¶

可以直接把图片放在static中，不过以后图片一多就麻烦了。如果后面想迁移什么的就太麻烦了。

利用page bundle¶

可以在post下面新建文件夹，重命名为你想要的博客名后新建md文件。这个md文档名称一定得是index.md，然后我们就可在同一目录下放置图片。md可以使用相对位置进行引用。

其实如果不是为了在有道云笔记中同时显示md文件中的图片，这种方式是最方便的，而且免费。

利用图床¶

这里利用picgo工具，把图片复制后，按一个快捷键就会自动上传到picgo内设置的图床上。

picgo教程支持8大图床。可以选免费的smms和github（虽然github慢了点），也可以氪金买云服务。

同时typora还支持picgo的插件，直接复制图片就可以实现上传到云端。不过配置可能会遇到些问题，可以参考这篇博客排坑。

综上，图床是最方便的，但需要点时间配置各个软件。page bundle是最简单的，但是如果没法移动到其它平台。

2、更新博客的流程¶

日后更新博客时就只需要在本地的hugo\content\post文件夹中编辑新的md文件，然后./deploy.sh就会自动编译静态网页然后上传至github，同时Netlify会检测Github中库的动态，并及时更新发布的网站内容。

3、在另一台电脑上写作¶

由于静态网页是托管到github，可以很方便地进行同步。直接用git pull把github拉下来就行，写完后git push 到仓库就万事大吉了。

以上就是免费创建个人静态网站地最佳实践。全免费，渲染快捷且可以专注写作，不用费心维护。

六、域名¶

最后为了装一下，怎么也得换个个性化的域名啊。网上到处看了看，感觉比较复杂。因为在国内买域名还得备案，听说很麻烦。后来直接到name.com购买了域名。用了一段时间后，发现有点贵，最后转到阿里云买域名。

域名解析¶

可以参考这篇博客。部署成功，Netlify会自动分配一个随机的域名给你。我们可以自行修改成方便记忆的，比如我这里使用的fengbuzhi.netlify.app。但是这个域名太长了，因此可以设置自定义域名。

登陆netlify。选择相对应的网站。
绑定域名。Domain settings-Add custom domain - 输入完整域名-保存。这时会出现一个警告，Check DNS configuration，这是因为这时还没有被域名服务商解析。
解析域名。登陆自己域名的服务商网站，这里以阿里云为例，添加一条CNAME解析。
域名列表-找到域名并在域名右边点击解析设置
在打开的窗口点击添加记录记录类型：选择CNAME 主机记录：默认@，若要需要www访问可再添加一个解析路线：默认记录值：netlify中的默认域名（我的是fengbuzhi.netlify.app，请用自己的，否则将连到我的站点） TTL：默认
生成HTTPS证书，实现HTTPS访问。Domain settings-Verify DNS configuration-确定

值得注意的是：你也可以增加A记录，解析IP地址。这是由netlify提供的，可过ping fengbuzhi.netlify.app来得到。但是有个疑问这个IP地址每次ping得到的都不一样，不知道什么意思？此外，在你的域名购买商处管理DNS的时候，要加两条DNS。一条是没有www，一条是有www。阿里云会自动添加，但在name服务商中需要手动添加。

七、Debug¶

push error

git push academic master
remote: Permission to Feng-Zhang/academic-kickstart.git denied to xiaofeng007.
fatal: unable to access 'https://github.com/Feng-Zhang/academic-kickstart.git/': The requested URL returned error: 403

控制面板-用户帐户-凭据管理器-找到git:https://github.com-编辑对这个凭据进行编辑，把要远程的账号和密码加上。

使用不同方法规一化、PCA和批次效应矫正的差异

2018-12-03T10:20:00+08:00

1）规一化表达矩阵¶

转录组差异表达分析时，需要对表达矩阵进行规一化。比较常用的方法有log2和DESeq2包的vst和rlog方法。那么它们有什么不一样呢？我们拿DESeq2的示例数据进行比较。

library(RNAseqFlow)
library(DESeq2)
library(corrplot)
input <- createCountPhe() # 得到表达矩阵和表型信息
expr <- input[[1]]
phe <- input[[2]]
dds <- create_DEseq(count_data=expr,col_data=phe,design_names = "condition+type",group_name ="condition",ref_level = "untreated") # 创建DESeqDataSet对象

## [1] "The id order between gene count file and phenotype file is identical without modification!"

dds

## class: DESeqDataSet
## dim: 10089 7
## metadata(1): version
## assays(4): counts mu H cooks
## rownames(10089): FBgn0000008 FBgn0000017 ... FBgn0261574 FBgn0261575
## rowData names(26): baseMean baseVar ... deviance maxCooks
## colnames(7): treated1 treated2 ... untreated3 untreated4
## colData names(3): condition type sizeFactor

norm <- log2(expr+1) #直接用log2进行规一化
norm[1:5,1:5]

##              treated1  treated2  treated3 untreated1 untreated2
## FBgn0000008  7.139551  6.475733  6.149747   6.539159   7.339850
## FBgn0000017 12.599448 11.585432 11.703471  12.187661  13.089285
## FBgn0000018  9.497852  8.228819  8.271463   9.189825   9.573647
## FBgn0000024  3.459432  3.000000  2.584963   3.459432   3.584963
## FBgn0000032 10.730470  9.445015  9.566054  10.498849  10.743151

ntd <- normTransform(dds) # DESeq中的函数
assay(ntd)[1:5,1:5]

##              treated1  treated2  treated3 untreated1 untreated2
## FBgn0000008  6.436242  6.865379  6.410556   6.354468   6.504519
## FBgn0000017 11.889798 11.978840 11.967612  12.000870  12.247040
## FBgn0000018  8.789322  8.621190  8.534895   9.003332   8.732772
## FBgn0000024  2.830673  3.349813  2.808365   3.290618   2.834907
## FBgn0000032 10.021212  9.838041  9.829949  10.312153   9.901443

normalized_counts = counts(dds, normalized=TRUE)
ntd1 = log2(normalized_counts+1)
ntd1[1:5,1:5]

##              treated1  treated2  treated3 untreated1 untreated2
## FBgn0000008  6.436242  6.865379  6.410556   6.354468   6.504519
## FBgn0000017 11.889798 11.978840 11.967612  12.000870  12.247040
## FBgn0000018  8.789322  8.621190  8.534895   9.003332   8.732772
## FBgn0000024  2.830673  3.349813  2.808365   3.290618   2.834907
## FBgn0000032 10.021212  9.838041  9.829949  10.312153   9.901443

rld <- rlog(dds, blind=FALSE) # DESeq中的函数
assay(rld)[1:5,1:5]

##              treated1  treated2  treated3 untreated1 untreated2
## FBgn0000008  6.499251  6.678569  6.494630   6.469361   6.527893
## FBgn0000017 11.933399 12.001811 11.993193  12.018453  12.208070
## FBgn0000018  8.758693  8.649608  8.594954   8.900817   8.721092
## FBgn0000024  2.679631  2.713855  2.679046   2.712598   2.679846
## FBgn0000032  9.998801  9.867264  9.861304  10.211745   9.911647

vsd <- vst(dds, blind=FALSE) # DESeq中的函数
assay(vsd)[1:5,1:5]

##              treated1  treated2  treated3 untreated1 untreated2
## FBgn0000008  8.005828  8.192922  7.995328   7.972665   8.034115
## FBgn0000017 11.968753 12.053246 12.042577  12.074190  12.309219
## FBgn0000018  9.322821  9.204951  9.145817   9.477809   9.282788
## FBgn0000024  7.105652  7.182429  7.102606   7.173068   7.106233
## FBgn0000032 10.283202 10.130746 10.124080  10.531172  10.183179

sample <- cbind(log2=norm[,1],ntd=assay(ntd)[,1],rld=assay(rld)[,1],vsd=assay(vsd)[,1])
corr <- cor(sample,use="pairwise.complete.obs")
corrplot(corr, order = "original", type = "upper", mar=c(1,5,5,1),tl.pos="n")
corrplot(corr, add = TRUE, type = "lower", method = "number", order = "original",
         tl.pos="full",cl.pos="n")

从数值来看，不同方法相差不大。从相关性来看，不同方法规一化的数据差异也不大，以第一个样本为例，相关性都达到0.94以上。因此，不同规一化方法差别不是特别大，选择其中一个就好。

不同方法的运行速度：

log2 方法最简单，最方便。
normTransform 与log2类似，但是它会先进行size factor的规一化再log2。需要首先转成DESeqDataSet类。
rlog 速度比较慢。需要首先转成DESeqDataSet类。
vst是rlog的快速版。需要首先转成DESeqDataSet类。

2）PCA 展示¶

如果输入数据是DESeqDataSet类，可以使用plotPCA进行展示：

plotPCA(ntd,intgroup=c("condition"))

plotPCA(rld,intgroup=c("condition"))

plotPCA(vsd,intgroup=c("condition"))

如果是log2的结果，可以用plot_PCA展示：

library(bioTools)
library(ggplot2)
plot_PCA(t(norm),phe=input[[2]],group = "condition")

plot_PCA是bioTools包的函数，可用devtools::install_github("Feng-Zhang/bioTools")进行安装。 plot_PCA会使用prcomp函数计算距离矩阵，再用ggplot2画图。prcomp函数的输入文件是data.frame（n*m），行(n)为样本，列(m)为多维变量。prcomp会将多维变量降维到n维。注意如果mat是没有规一化的数据，需要设置其中的参数scale=T，将数据进行规一化。

可以看到rlog和vst的结果是类似的，且比normTransform方法好，因为PC1和PC2加起来解释的方差更大。而log2方法的效果也很不错。因此：

如果使用DESeq2进行相关分析时，推荐使用vst方法。
如果输入文件是一般的表达矩阵，用log2的方法也是不错的选择，不用费劲地转成DESeqDataSet类。
用plot_PCA可以方便地画PCA图。它是用ggplot2画的，返回的结果还可以用ggplot2进一步优化。

3）查看批次效应¶

我们一般用PCA方法来看样本间是否有批次效应。本例中condition是我们关注的因素，但是type不是，它是指不同测序平台类型。我们不希望不同平台的数据对我们所关注的因素造成影响，即不希望不同平台的测序结果有系统性差异。因此可以先用PCA方法查看type对样本的影响。

plotPCA(ntd,intgroup=c("type"))

plotPCA(rld,intgroup=c("type"))

plotPCA(vsd,intgroup=c("type"))

plot_PCA(t(norm),phe=input[[2]],group="type")

我们看到所有方法的规一化数据都表明，不同type之间的样本有明显的差别，即存在显著的批次效应。

4）矫正批次效应¶

1. 用limma去除批次效应¶

model <-  model.matrix(~condition, colData(dds))
mat <- limma::removeBatchEffect(assay(ntd), ntd$type,design = model)
assay(ntd) <- mat
plotPCA(ntd,intgroup=c("condition"))

plotPCA(ntd,intgroup=c( "type"))

mat <- limma::removeBatchEffect(assay(rld), rld$type,design = model)
assay(rld) <- mat
plotPCA(rld, intgroup=c("condition"))

plotPCA(rld, intgroup=c( "type"))

mat <- limma::removeBatchEffect(assay(vsd), vsd$type,design = model)
assay(vsd) <- mat
plotPCA(vsd, intgroup=c("condition"))

plotPCA(vsd, intgroup=c("type"))

可以看到样本可以被condition分开，但不能被type分开，表明矫正成功。

2. 用ComBat去除批次效应¶

library(sva)
model <- model.matrix(~condition,data = phe)
clean_norm <- norm[rowSums(norm)>1 & rowMedians(norm)>1,]
adjusted_expr <- ComBat(dat = clean_norm, batch = as.character(phe$type))

## Found 33 genes with uniform expression within a single batch (all zeros); these will not be adjusted for batch.

plot_PCA(t(adjusted_expr),phe=phe,group = "condition")

plot_PCA(t(adjusted_expr),phe=phe,group = "type")

注意ComBat的输入文件是过滤且规一化的数据，不能是原始count。