13518219792
这篇文章主要讲解了“Harbor仓库镜像扫描的原理”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“Harbor仓库镜像扫描的原理”吧！
专注于为中小企业提供网站建设、做网站服务,电脑端+手机端+微信端的三站合一,更高效的管理,为中小企业广阳免费做网站提供优质的服务。我们立足成都，凝聚了一批互联网行业人才，有力地推动了超过千家企业的稳健成长，帮助中小企业通过网站建设实现规模扩充和转变。
harbor仓库中的镜像扫描这个功能，看似很高大上，其实等你了解了它的底层原理与流程，你就会发现就是做了那么一件事而已，用通俗的一句话概括，就是找到每个镜像文件系统中已经安装的软件包与版本，然后跟官方系统公布的信息比对，官方已经给出了在哪个系统版本上哪个软件版本有哪些漏洞，比如Debian 7系统上，nginx 1.12.1有哪些CVE漏洞，通过对逐个安装的软件包比对，就能知道当前这个镜像一共有多少CVE。当然，如果你是解压版的，那就没啥说的，这个跟windows类似，系统无法在控制面板识别。下面就harbor的具体流程进行简单介绍，让你对这个功能了如指掌。
在了解镜像扫描之前，这里先简单说下镜像的概念，镜像就是由许多Layer层组成的文件系统，重要的是每个镜像有一个manifest，这个东西跟springboot中的一个概念，就是文件清单的意思。一个镜像是由许多Layer组成，总需要这个manifest文件来记录下到底由哪几个层联合组成的。要扫描分析一个镜像，首先你就必须获取到这个镜像的manifest文件，通过manifest文件获取到镜像所有的Layer的地址digest，digest在docker镜像存储系统中代表的是一个地址，类似操作系统中的一个内存地址概念，通过这个地址，可以找到文件的内容，这种可寻址的设计是v2版本的重大改变。在docker hub储存系统中，所有文件都是有地址的，这个digest就是由某种高效的sha算法通过对文件内容计算出来的。
上图中虚线框中的模块是harbor自身功能，Clair是coreos开源的一个系统，镜像扫描分析工作主要由Clair完成，它具体的结构在下面再分析，这里先侧重分析harbor这块流程。箭头方向大致描述的是请求方向，系统之间交互可能产生多次请求。
1.UI向Job发起镜像扫描请求，参数中包含了仓库名称以及tag
2.Job收到请求之后，向registry发起一个Head请求(/v2/nginx/manifest/v1.12.1)，判断当前镜像的manifest是否存在，取出当前manifest的digest，这个digest是存放在响应头中的Docker-Content-Digest。
3.Job把第2步获取到的digest以及仓库名、tag作为一条记录插入job表中，job的状态为pending。
这个时候Job系统则会新建一个扫描任务的job进行调度，这里则涉及到一个状态机处理流程。
4.Job系统通过manifest文件获取镜像的所有Layer digest，针对每一层，封装一个ClairLayer参数对象，然后根据层的数量，循环请求Clair系统，ClairLayer参数结构如下：
Name: sha256:7d99455a045a6c89c0dbee6e1fe659eb83bd3a19e171606bc0fd10eb0e34a7dc Headers: tokenHeader, Format: "Docker", Path: http://registry:5000/v2/nginx/blobs/7d99455a045a6c89c0dbee6e1fe659eb83bd3a19e171606bc0fd10eb0e34a7dc ParentName: a55bba68cd4925f13c34562c891c8c0b5d446c7e3d65bf06a360e81b993902e1
5.Clair系统收到请求之后，根据ParentName首先校验父Layer是否存在，不存在则报错。
下面详细讲解Clair漏洞分析流程。
1.下载镜像层文件
携带必要的headers发起对path的Get请求，得到的则是一个归档文件，然后进行解压。
2.探测镜像操作系统
遍历解压后的文件目录，探测操作系统文件路径。 首先要了解各Linux发行版的一些基础文件，比如系统版本、安装的软件包版本记录等文件。
centos：etc/os-release,usr/lib/os-release
查看文件/etc/os-release
NAME="CentOS Linux" VERSION="7 (Core)" ID="centos" ID_LIKE="rhel fedora" VERSION_ID="7" PRETTY_NAME="CentOS Linux 7 (Core)" ANSI_COLOR="0;31" CPE_NAME="cpe:/o:centos:centos:7" HOME_URL="https://www.centos.org/" BUG_REPORT_URL="https://bugs.centos.org/" CENTOS_MANTISBT_PROJECT="CentOS-7" CENTOS_MANTISBT_PROJECT_VERSION="7" REDHAT_SUPPORT_PRODUCT="centos" REDHAT_SUPPORT_PRODUCT_VERSION="7"
clair逐行解析该文件，提取ID以及VERSION_ID字段，最终把centos:7作为clair中的一个namespace概念。
2.探测镜像已安装的软件包
上一步已经探测到了操作系统，自然可以知道系统的软件管理包是rpm还是dpkg。
debian, ubuntu : dpkg centos, rhel, fedora, amzn, ol, oracle : rpm
centos系统的软件管理包是rpm，而debain系统的软件管理是dpkg。
rpm：var/lib/rpm/Packages dpkg：var/lib/dpkg/status apk：lib/apk/db/installed
比如debian系统，从文件/var/lib/dpkg/status文件则可以探测到当前系统安装了哪些版本的软件。
