1. 介绍

Gapr 是一个神经元重构的软件系统。 神经元重构是指从图像数据中提取出神经元的三维形态,是一项很难完全自动化解决的问题。

Gapr 首先会进行自动重构,重构结果中会包含多种错误。 因此需要通过使用 Gapr 的 Proofread 工具进行人工校对,找到并修正这些错误,从而得到正确的重构结果。 进行校对时,需要注意:

  • 重构和校对应基于图像、生物学知识及经验积累,而不是想象和猜测。

  • 重构结果要和图像中真实神经元的树形结构及连接关系一一对应,不能有重复、错连、多连和遗漏

  • 校对过程要仔细认真,尽量避免出现错误。

  • 图像数据难免出现信号不好、模糊不清的地方,需要依经验进行判断。无法做确定判断时,要标记出这些地方(见详解)。

进行神经元重构、校对时需要用到一些基础的神经生物学知识。

1.1. 神经元

神经元(也称神经细胞)是神经系统的结构单元,拥有庞大、复杂的树形结构。 典型的神经元由一个胞体、多个树突和一个轴突构成。 树突和轴突均为树形结构,有些时候难以区分开,在校对时也不用区分。 如下图,中间的膨大为胞体,周围的树形结构为树突与轴突。

nrn image
nrn branch

以下是一些重构及校对时的判断依据:

  • 一个神经元只有一个胞体,因此树突或轴突上多次出现的膨大不是胞体。

  • 树突和轴突都是树形结构,因此内部不会形成环。

  • 同一个神经元,两个树突之间、树突与轴突之间,都不会有连接。

  • 不同神经元的树突与轴突之间,也不存在连接。

  • 树突与轴突几乎都是二分叉,不会出现三分叉或多分叉。

  • 树突或轴突的亮度、粗细、方向、形状一般不会骤变,尤其是在长的轴突片段上会很连续。(注意区分突触的膨大)

  • 分支处,上游分支(近胞体)与下游分支的夹角一般较大(钝角)。

  • 一般不会存在孤立的树突或轴突片段。

  • 示踪、成像好的情况下,树突和轴突信号一般具有好的连续性。

为保护知识产权,Gapr 软件及相关数据请严格保密

2. 使用

2.1. 准备

进入 Gapr 主页下载软件并注册账号。 注册时,请在备注(Comment)里提供联系方式和一些相关信息。 新账号需激活后方可使用。

解压缩后(而不是直接打开 ZIP 文件),运行 bin 目录下的 gapr-proofread.exe。

在登陆对话框中输入仓库名、用户名及密码。 点击历史中的条目,可以自动输入之前的登陆信息(不包含密码)。 登陆后请等待加载重构结果和图像数据。

校对结果会在服务器端实时保存,因此退出前无需保存。

2.2. 用户界面

operation introduction

点开菜单可以看到所有的操作和对应的快捷键,熟悉使用快捷键可以提高操作效率。

2.2.1. 对比度

右侧是对比度调节工具,调节图像显示的亮度范围。 点击下面的 Reset 按钮,则重置到 [0, 1] 的亮度范围; 点击 Shrink 按钮,则缩小调节范围到当前选定的范围,有助于在较小的区间内精细调节。 一般情况下,主要调节最大值(上侧滑块),背景太亮时可调节最小值(下侧)。

合适的对比度对于观察神经元结构非常重要,应该调节使得:背景很暗(但不是全黑),需要观察的信号较亮(但避免太亮)。 当局部区域亮度范围大时(如:很暗的轴突和很亮的轴突靠近需要辨别,暗的树突接近另一个细胞很亮的胞体),应在不同的对比度下作多次观察。

2.2.2. 鼠标输入

中间是可视化和操作区域,鼠标操作如下:

  • 转动鼠标滚轮缩小或放大图像。

  • 单击右键弹出快捷菜单。

  • 按下左键拖动则转动图像。只有通过转动才能观察三维结构,除了非常简单的结构外,都需要转动图像理解三维结构后再作判断。

  • 单击左键选目标点。点到边或端点上,则直接选中对应节点。点到信号上,则选择 Z 方向亮度最大的位置,当图像信号差或太复杂时,需要转动图像后进行第二次点击来选择正确位置(两次点击的交点)。

使用鼠标

在二维显示模式下:

  • 转动鼠标滚轮改变二维切面的深度。

  • 按下左键拖动改变二维切面的方向。

  • 单击左键选目标点。当无法选到节点时,直接根据二维切面确定三维坐标。

2.3. 操作

校对操作的输入是当前点和(或)目标点。 当前点是显示的中心,由橙色园圈表示。 改变当前点需选择目标点后再跳转。 目标点通过鼠标左键点击选取,由橙色十字表示。 一些校对操作也会改变当前点或清除目标点。

当前点及目标点可以在边上、在端点上,也可以与边及端点无关联,应按需要进行正确选取。 比如,补充两条应连到一起的边之间漏掉的部分,则需要选到端点上,而不仅是靠近端点的位置。

主要的校对操作:

跳转

Edit  Goto target,快捷键 G
跳转到目标点,即改变当前点为目标点。

略过

Edit  Skip current node,快捷键 S
跳过当前点所在节点,在当前阶段不做处理,并跳转到下一个待处理节点。 用于数据边界附近无足够信息作判断的情况。 如果当前点无关联节点,关联节点无需处理,或已略过关联节点,则仅跳转。

标记神经元

Edit  Create neuron,快捷键 Ctrl+N
在目标点处标记神经元,无关联节点时会添加节点。

报告错误

Edit  Report error,快捷键 Ctrl+E
在目标点所在节点标记错误。 用于对不确定或无法解析的节点进行标记。

连接

Edit  Connect,快捷键 C
在当前点和目标点之间连接。用于补充遗漏的树突或轴突。 新的片段在确认(延伸分支)后,才会写入结果中。 在图像数据较差导致连接结果不理想时,可以改变选点或调节对比度后再次尝试,可以把较长的连接分多次处理。 连接时,新的片段会与当前点和目标点关联的节点建立连接,因此需要正确选点以确保连接关系正确。

延伸

Edit  Extend,快捷键 空格
添加连接产生的新片段,并跳转到新片段的末端(对应目标点)。 用于线性结构的分段添加。

分支

Edit  Branch,快捷键 B
添加连接产生的新片段,不进行跳转。 用于当前点在分支处添加分支片段,保持当前点不变以便添加其他分支。

结束

Edit  End,快捷键 E
把当前点所在末端标记为结束(端点由橙色变成蓝色),并跳转到下一个待处理节点。 用于处理正常末端。 只有当图像数据支持当前分支在该处明确结束(无分支和延伸)时才能使用;不能明确的末端应标记成错误结束,边界处无足够信息应略过。 如果当前点无关联节点,关联节点非端点,或端点已被标记,则仅跳转。

错误结束

Edit  End as,快捷键 Shift+E
类似结束,但用于不正常的末端,如:信号逐渐减弱到无法解析、不是很有把握的连接等。 目前不区分对话框里的具体错误类型。

删除

Edit  Delete,快捷键 X
删去当前点和目标点之间的片段。 当前点和目标点需关联到同一边上的节点,即不能跨多个边。

已校对

Edit  Examined,快捷键 W
将当前点和目标点之间的片段标记为已校对(红色变成蓝色),并跳转到目标点。 当前点和目标点需关联到同一边上的节点,即不能跨多个边(但可以跨红色、蓝色的边界)。 只有当片段与图像中真实连接关系一致时,才能使用;不一致时,应先处理错误;错误无法处理,则应在标出错误后再进行此操作。

已有对应图像数据的连接关系时,应使用已较对操作, 而不是连接后添加新的重叠的片段。

2.4. 流程

软件会选取需要校对的地方(黄色的端点和红色的片段),然后跳转到该处并加载图像数据。 在调好对比度后就可以进行校对操作,流程如下:

  • 观察并理解图像中的三维结构和连接关系。

  • 如由于在所加载图像边缘,无足够信息做判断,则可略过此处。

  • 如连接关系不能确定,则参考详解,作出处理与错误标记。

  • 如有漏掉的连接,则需补充上。

  • 如有未标记的胞体,则补充标记。

  • 如有错误、重复的连接,则修正错误、删掉重复的部分。

  • 片段上无误或处理完成,则标记为已校对

  • 末端是正常结束则标记结束;能继续延伸或分支,则进一步补充;否则标记为错误结束

后两步的操作表示此处(片段或末端)已处理完成,因此只能在错误、遗漏得到处理及不确定的情况被标记后,才能执行。

2.5. 示例

校对红色片段。对小分支遗漏进行了补充。
annot soma
图表 1. 胞体标记。应标记到信号中心位置(两次点击可以更准确选点)。较大的圆点(2)表示胞体,较小的(1)为分叉点。
fix branch soma
图表 2. 胞体处分支过早。下图A中绿色虚线内表示神经元胞体区域,胞体范围内不应产生分叉,而都应该算作从胞体处伸出的分支。修改如图B,将分支段删除,再连接到胞体上,最后的结果如图C所示。
胞体外的分支。
基于无三分叉的原则,此处不应连在一起。
去掉错误的连接。

3. 详解

3.1. 确定性

单神经元重构的目标是获得确定的神经元形态结构,而不是概率上的连接关系。 但由于示踪、成像中存在的问题,图像中难免存在无法确定的情况。 不确定的程度,难以进行具体定量表示。 因此在 Gapr 中,图像中的连接关系只定性的分为以下情况:

  • 确定无连接。校对时,应保证结果中无对应连接关系。例如:

    • 会形成环的结构中最弱的连接处。

    • 典型的末端结构。

  • 可能连接,无法在连接和不连接之间选择。校对时,应避免结果中有对应连接:如已连接,则标出错误(可能多出);如无,则不做连接,并标出错误(可能漏掉)。例如:

    • 有明显问题的、但仍可能有连接关系的地方。

    • 信号密集区域的分支、纠缠。

  • 很可能连接,倾向于连接但无法确定。校对时,应使得结果中有对应连接,并标出错误(可能多出)。例如:

    • 稍有问题的连接关系。

  • 确定连接。校对时,应使得结果中有对应连接。例如:

    • 信号清晰、连续、一致的地方。

    • 稀疏区域的简单结构。

    • 有规律的图像问题导致的不连贯。

3.2. 标错

Gapr 中,重构结果的不确定用标错表示。 对于末端,使用错误末端来标记当前点所在末端。 在片段上或分支处,使用报告错误来标记目标点所在节点。 对应于同一个不确定问题,只用(但必须)作出一次标记来标志位置,不需多次标记。 在校对时,标错只表示不确定性及可能的重构错误,不做具体错误类型划分(错误末端的对话框中不用专门选择)。

3.3. 准则

为了确保多人校对结果的正确性与一致性,校对时要遵守如下准则:

  • 很可能及确定的连接,都做连接处理,不能确定则需额外标出错误。

  • 可能的连接,倾向于不连接,并标出错误。已有连接则不需去掉,仅标错(可能多连);之前没有,则不连接并标错(可能漏连)。

  • 不可能的连接,如已有连接,应删掉。

出现可能性较高的典型情况的处理,会在后面举例说明。 非典型的情况,无法一一列举,需按照一定的准则进行操作。 当然典型情况的处理也是符合这些准则的。

3.4. 舍弃

在图像中,难以避免地存在暗的胞体,暗的或细的树突和轴突。 太暗或太细的结构,难以辨别,应当舍弃。 但亮度、粗细是连续的,难以给出一个明确的界限,以下是一些参考:

  • 胞体很暗,缺少能较好重构的树突与轴突,且周围此亮度以上的胞体非常多,则不用标出胞体。确定亮暗应注意调节对比度。

  • 在当前范围内能确定不会与其他结构有关系的树突或轴突片段,如果信号好可保留,信号不好应删除。在边界附近不能作决定时应略过。

  • 逐渐变暗到无法看清,继续重构价值不大的片段,则不进一步重构,并在末端标记错误结束。

  • 可能的分支,但分支出去的片段看不清,重构价值不大,则舍弃此分支片段,并在可能的分支处标记错误。

3.5. 间断

如果有依据确定是否连接,则做简单的连接或不连接处理。 例如:有规律的多次出现的间断,一般是图像问题,应连接;稀疏区域的大幅度间断,结构简单时,应连接;片段其他部分不可能有连接,则在间断处必然连接;间断处是环的唯一薄弱处,则必然无连接。

如果很可能连接,则做连接处理,并在间隙处标记错误(可能多出连接); 如果可能连接,则做不连接处理,并把两末端标记成错误末端(可能漏连)。

3.6. 分支

如果有确定的判断,则依照判断处理。

确定的连接关系,做连接处理; 很可能的连接关系,做连接处理,并标出错误(可能多连); 可能的连接关系,做不连接处理,并在一端标出错误(可能漏连)。 同一位点只用进行一次错误标记。

3.7. 纠缠

应通过旋转多方向观察。如果可以依据粗细、亮度、角度作出确定的判断,则依照判读处理。

这里只讨论典型的纠缠,即存在两种连接方式。 应根据图像信息选择可能性更高的连接方式(可能性不相上下时任选一种连接方式),进行相应连接处理,并在纠缠处标出错误。