技术分享

叮咚,你的一份龙年图强教程请查收

NebulaGraph

前几天和社区小伙伴友好交流(闲聊),不少加入 NebulaGraph 的小伙伴虽然对图感兴趣,但是因为业务调整或者是时间缘故,最终没能用上 NebulaGraph。而他们当中不少的小伙伴说,春节我打算好好学习一番。既然大家有此打算,那 Nebula 一定要来助力一番。

本文是一份极度友好,你即便只会一个开机操作不懂任何数据库,你也能获得像是下图这样的直观关系图谱:

除了你可以学会用图数据库 NebulaGraph 展示图谱之外,在龙年 2024 年春节期间,你把你的可视化结果图截给星云小姐姐,你还有现金·新春打卡礼收哟~(限量 10 份)

本文目录

  • NebulaGraph 和可视化工具部署

  • Docker Compose 安装图数据库

  • NebulaGraph 部署

  • NebulaGraph 服务启动

  • NebulaGraph 服务连接

  • 可视化工具 NebulaGraph Studio 部署

  • 10 秒搞定先前部署安装

  • 限时开启·绿色通道免安装

  • 探索图数据库

  • 草图构建 Schema

  • 导入图数据

  • 探索图数据

  • 注:本文虽然看过篇幅很长,大多数是为了方便新手对照加入了大量的图片供参考,别担心用上图数据库的过程很复杂:它真的很简单,几分钟就搞定了~

Part.0 写在前面

  • 写给新手

本文作者是一个 SQL 都不会写的小运营,她根据文档完成了 NebulaGraph 的部署和可视化工具 NebulaGraph Studio、NebulaGraph Explorer 的部署,以及完成了简单的图探索。优秀如你,一定可以完成本次的 NebulaGraph 图库打卡活动~

本文所用操作系统为 macOS,采用 Docker 和云服务两种方式来部署 NebulaGraph。如果你采用 Docker 部署方式,而操作系统为 Windows,记得自行搜索“Windows 如何安装使用 Docker Desktop”。

  • 写给老手

如果你已经完成了部署,会用 NebulaGraph Studio 之类的图探索工具。那么,你可以试试由思为提供的进阶实践教程(难度依次增加):

  • 从零到一构建一个智能问答助手
  • 从零到一:如何构建一个企业股权图谱系统?
  • 基于图数据库 NebulaGraph 的 ID Resolution 方法与代码示例

NebulaGraph 和可视化工具部署

为了降低难度(其实是没有 Linux 机器),本次部署采用了 Docker 方式,按照文档:https://docs.nebula-graph.com.cn/3.6.0/4.deployment-and-installation/2.compile-and-install-nebula-graph/3.deploy-nebula-graph-with-docker-compose/,一步步执行。

你可以按照文档一步步操作,也可以只看本文完成 Docker 的部署安装。

Docker Compose 安装图数据库

首先,安装 Docker Compose。这里我们直接安装 Docker Desktop(Docker 桌面版),它提供了 Docker Compose。点击此处:https://www.docker.com/products/docker-desktop/,自行完成安装。

安装完成之后,点击你的 Docker 图标,运行 Docker。

Docker

当你看到上图,状态栏有 Docker 的图标,说明你的 Docker 环境已 ready。我们可以来验证下:打开你的 terminal,输入命令:docker-compose version,有像下图一样的返回结果,说明你的 Docker 可以开始工作了。

Docker Compose

  • NebulaGraph 安装

现在有 Docker Compose 了,我们来安装下图数据库。

还是那个执行了 Docker 版本查询的 terminal,输入命令:

`git clone -b release-3.6 https://github.com/vesoft-inc/nebula-docker-compose.git`

让命令运行一段时间,看到下图:

NebulaGraph

好的,到此为止。你已经有了优秀的图数据库 NebulaGraph,完成了它的部署。

  • NebulaGraph 服务启动

下面,我们来启动 NebulaGraph。非常简单的两条命令,还是在 terminal 里执行:

`# 切到 nebula-docker-compose 目录
cd nebula-docker-compose

# 拉起服务
docker-compose up -d`

看到上图,说明你的 NebulaGraph 的服务已经启动。

  • NebulaGraph 服务连接

现在 NebulaGraph 已经启动了,一般来说现在就是连接它,执行什么 SQL boy 的日常 CRUD 操作——往数据库里加点数据、做些查询。

先前,我们提到了 NebulaGraph Studio 和 NebulaGraph Explorer 你可以理解是一个 Web 客户端,我们会用浏览器来连接 NebulaGraph。作为一个附加学习,下面是通过 nebula-console 来连接 NebulaGraph。

还是在之前那个执行了 docker-compose up -d 的 terminal,用命令 docker-compose ps 看下目前 Docker 中服务名:

`nebula-docker-compose git:(release-3.6) docker-compose ps
NAME                                IMAGE                                     COMMAND                  SERVICE     CREATED          STATUS                             PORTS
nebula-docker-compose-console-1     docker.io/vesoft/nebula-console:v3.5      "sh -c 'for i in `se…"   console     44 seconds ago   Up 40 seconds                      
nebula-docker-compose-graphd-1      docker.io/vesoft/nebula-graphd:v3.6.0     "/usr/local/nebula/b…"   graphd      44 seconds ago   Up 41 seconds (healthy)            0.0.0.0:9669->9669/tcp, 0.0.0.0:55153->19669/tcp, 0.0.0.0:55154->19670/tcp
nebula-docker-compose-graphd1-1     docker.io/vesoft/nebula-graphd:v3.6.0     "/usr/local/nebula/b…"   graphd1     44 seconds ago   Up 41 seconds (healthy)            0.0.0.0:55152->9669/tcp, 0.0.0.0:55150->19669/tcp, 0.0.0.0:55151->19670/tcp
nebula-docker-compose-graphd2-1     docker.io/vesoft/nebula-graphd:v3.6.0     "/usr/local/nebula/b…"   graphd2     44 seconds ago   Up 41 seconds (healthy)            0.0.0.0:55157->9669/tcp, 0.0.0.0:55155->19669/tcp, 0.0.0.0:55156->19670/tcp
nebula-docker-compose-metad0-1      docker.io/vesoft/nebula-metad:v3.6.0      "/usr/local/nebula/b…"   metad0      44 seconds ago   Up 43 seconds (healthy)            9560/tcp, 0.0.0.0:55131->9559/tcp, 0.0.0.0:55132->19559/tcp, 0.0.0.0:55133->19560/tcp
nebula-docker-compose-metad1-1      docker.io/vesoft/nebula-metad:v3.6.0      "/usr/local/nebula/b…"   metad1      44 seconds ago   Up 43 seconds (healthy)            9560/tcp, 0.0.0.0:55130->9559/tcp, 0.0.0.0:55128->19559/tcp, 0.0.0.0:55129->19560/tcp
nebula-docker-compose-metad2-1      docker.io/vesoft/nebula-metad:v3.6.0      "/usr/local/nebula/b…"   metad2      44 seconds ago   Up 43 seconds (healthy)            9560/tcp, 0.0.0.0:55136->9559/tcp, 0.0.0.0:55134->19559/tcp, 0.0.0.0:55135->19560/tcp
nebula-docker-compose-storaged0-1   docker.io/vesoft/nebula-storaged:v3.6.0   "/usr/local/nebula/b…"   storaged0   44 seconds ago   Up 42 seconds (health: starting)   9777-9778/tcp, 9780/tcp, 0.0.0.0:55140->9779/tcp, 0.0.0.0:55141->19779/tcp, 0.0.0.0:55142->19780/tcp
nebula-docker-compose-storaged1-1   docker.io/vesoft/nebula-storaged:v3.6.0   "/usr/local/nebula/b…"   storaged1   44 seconds ago   Up 42 seconds (health: starting)   9777-9778/tcp, 9780/tcp, 0.0.0.0:55144->9779/tcp, 0.0.0.0:55145->19779/tcp, 0.0.0.0:55143->19780/tcp
nebula-docker-compose-storaged2-1   docker.io/vesoft/nebula-storaged:v3.6.0   "/usr/local/nebula/b…"   storaged2   44 seconds ago   Up 42 seconds (health: starting)   9777-9778/tcp, 9780/tcp, 0.0.0.0:55139->9779/tcp, 0.0.0.0:55137->19779/tcp, 0.0.0.0:55138->19780/tcp`

这里要注意 nebula-console 这个镜像对应的服务名 nebula-docker-compose-console-1,用 nebula-console 连接 NebulaGraph 时需要用到它。

在 terminal 继续执行命令 docker exec -it nebula-docker-compose-console-1 /bin/sh,此时终端需要你输入 NebulaGraph 的账号、密码信息:

`./usr/local/bin/nebula-console -u root -p nebula1234 --address=graphd --port=9669`

在本文示例中设定账号 -u 为 root,密码 -p 为 nebula1234。你可以根据自己的喜好,修改为你记得住的密码。而上面语句的地址 --address 和端口 --port 直接用默认的 graphd 和 9669 即可。

等你通过账号和密码连接上 nebula-console 之后,你便可以进行相关的数据库操作,比如:你可以看下相关的服务状态。

nebula-studio

  • 可视化工具 NebulaGraph Studio 部署

还是根据文档:https://docs.nebula-graph.com.cn/3.6.0/nebula-studio/deploy-connect/st-ug-deploy/#docker_studio 走下。

先下载 nebula-studio 的 tar 包:3.8.0 版本(链接:https://oss-cdn.nebula-graph.com.cn/nebula-graph-studio/3.8.0/nebula-graph-studio-3.8.0.tar.gz),将下载的包放到你的 nebula-docker-compose 文件所在的目录下。

terminal

terminal 在 nebula-docker-compose 目录的情况下,执行下面的命令、打开对应的 tar 包:

`mkdir nebula-graph-studio-3.8.0 && tar -zxvf nebula-graph-studio-3.8.0.tar.gz -C nebula-graph-studio-3.8.0`

terminla

将 terminla 的目录切到 nebula-graph-studio-3.8.0 这个目录下:

cd nebula-graph-studio-3.8.0

如果你查看过 nebula-graph-studio-3.8.0 里的内容,里面就一个 .yaml 文件和说明文档,那如何搞到 nebula-studio 的镜像呢?下面的命令就是拉取相关的 nebula-studio:

docker-compose pull

现在看下上面命令的执行结果:

terminla

现在,我们来启动下 nebula-studio 服务:在刚才的 terminla 执行下面的命令

docker-compose up -d

看到下面的 nebula-graph-studio-380-web-1 已经是状态为 Started(绿色),

nebula-stuido

我们可以在浏览器终端打开 127.0.0.1:7001 访问 nebula-stuido:

graphd

在 graphd 部分填入你本机真实 IP,账号和密码可输入:root / nebula。至此,恭喜你已经有了玩转图数据库的环境 🎉。

  • 10 秒搞定前面的部署

刚我们搞了 Docker 的 NebulaGraph、NebulaGraph Studio 的部署安装,这里有一键完成之前的捷径。

前提,你得装好 Docker Desktop。打开 Docker,看到界面左侧的菜单栏有“Extension”:

Nebula

添加扩展之后,在搜索框里输入:Nebula 便能找到对应的 NebulaGraph 扩展:

Docker Desktop

点击安装之后,你便能看到 NebulaGraph Extension 已经安装在你的 Docker Desktop 里,点击【Studio】:

nebula-studio

好的 nebula-studio 服务启动 🎉,再填入相关的信息:graphd /9669,以及账号和密码:root / nebula,完成登陆。

  • 绿色通道·限时开启企业云服务

为了大家快速体验上图数据库,和 NebulaGraph 计算巢负责的同学打过招呼之后:在春节到元宵期间,计算巢提供 10 天的免审核试用。

下面带大家走一趟阿里云计算巢,薅一个付费的企业服务。

先访问:https://market.aliyun.com/isv-nebulagraph,打开 NebulaGraph 企业版使用界面:

登录之后,点击页面上方的【立即使用】,填写下相关的信息:

nebula

正常情况下,这是需要审核的:一般是 3 个工作日。不过,这次我们已经打点妥当直接提交信息之后自动审批。等你填完信息之后,前往计算巢服务页面:https://computenest.console.aliyun.com/service/cn-hangzhou?tabKey=used,在我的服务中找到【我使用的服务】,同下图:

nebula

我们现在开始创建 10 天的免费企业版 NebulaGraph,遇到需要填写的地方填写下,已经自动填充默认值的地方直接跳过,毕竟我们是白嫖的企业服务——能跑就行。

下面是需要填写的信息:

  • 服务实例名称:随便取个你喜欢的名字;
  • Storage 数据盘空间:随便填个大于 32 小于 16384 的值,这里我填了 500;
  • ECS服务器密码:填个你记得住的密码;
  • 交换机可用区:选择默认的第一个可用区; nebula-website

nebula-website

再勾选下 2 个协议,之后提交下信息。

现在你有了一个 10 天的企业版 NebulaGraph 服务。我们现在去找到它,它还附带了一个企业版可视化工具 NebulaGraph Explorer。前往服务实例页面: https://computenest.console.aliyun.com/service/instance/cn-hangzhou?secondTabKey=poc 在我的【试用服务】服务中找到刚才创建的实例:

nebula-explorer

往右拉动滚动条,看到该实例的详情,点击【详情】。可以看到对应的实例信息,包括在线可视化探索工具 nebula-explorer 的在线地址:

nebula-explorer

点击 nebula-explorer 的在线地址(上图为:http://47.97.85.204:7002),就能打开 nebula-explorer,填入详情中 graph 服务私有 IP 对应的 ip,以及详情提到的图探索服务登陆信息中的账号和密码。

nebula-explorer

至此,你已经可以正常使用可视化图探索工具来探索 NebulaGraph 了。

下面,开始我们的主菜:探索图数据库。因为 nebula-studio 有较多相似,又不少不同的地方。下面内容无特殊说明,说明二者通用。

探索图数据库

图片

  • 草图构建 Schema 草图功能是 nebula-explorer 先有,后来再添加到 nebula-studio 的功能。由奢入俭难,我们从比较朴素的开源的 nebula-studio 为例。

登陆 nebula-studio 之后,在页面上左上方导航处选中【Schema 草图】,nebula-explorer 对应的功能在页面右侧、从左往右数第一个图标。

下面这个是我们本次实践的图模型(社区的 contributor 关系图):

图片

OK,根据这个图模型上面的 Schema 信息,我们在草图中创建下相关的点(圆圈)和边(一个圆指向另外个圆的连接线)信息:

图片

将 repo、contributor、org 等 3 个 tag 类型信息,以及 PR、属于 等 2 个 edgetype 类型提交之后,你可以在页面到对应的 Schema 信息。下图以 contributor tag 为例:

图片

点击右上角的保存图标保存之后,应用到图空间——现在,我们要开始创建图空间了:

图片

至此,我们的 Schema 信息创建完成。

nebula-studio 的小伙伴可直接点击左侧的菜单的 Schema(nebula-explorer 的小伙伴点击右侧菜单从左往右数第二个图标)查看图空间信息,等你看到 nebula-contributor 之后,点击图空间名,可查看相关的 Schema 信息:

图片 图片

细心的你此时可以对下相关的属性个数。

  • 导入图数据

把本次用的 nebula-contributor-dataset2024(链接:https://nebula-website-cn.oss-cn-hangzhou.aliyuncs.com/nebula-blog/nebula-contributor-dataset2024.zip)数据集下载到本地,放在一个你能找到的目录下。

解压缩之后得到 5 个文件:

  • tag 点类型数据
  • contributor20240110.csv
  • repo20240110.csv
  • org.csv
  • edgetype 边类型数据
  • pr20240110.csv
  • belong20240110.csv

上面的数据已经经过处理,我们开始导数环节。nebula-studio 和 nebula-explorer 的数据导入流程相似,下面以 nebula-studio 为例: 点击左侧导航的【导入】菜单(nebula-explorer 为右侧第三个图标),进入导数页面之后我们先上传本地文件(支持批量上传),将所有文件上传到 nebula-stuido 中:

图片

点击同页面右侧的【导入数据】,进行数据和 Schema 关联。 以 contributor tag 为例,将对应的 Schema 属性信息同源数据进行关联:

  • 标签:选 contributor
  • 关联文件:选【本地】再选择 contributor20240110.csv
  • VID 列:选 Column 0
  • name:选 Column 1
  • number:选 Column 2
  • merged_time:选 Column 3
  • is_vesoft:选 Column 4
  • merge_repo:选 Column 5

聪明的你应该发现了,所有的 Schema 和原数据关联都是顺序的——因为为了方便:

图片

而边的关联稍显复杂,这里做个文字描述:

  • 边类型:选 PR
  • 关联文件:选【本地】再选择 pr20240110.csv
  • 起点 VID 列:选 Column 0
  • 终点 VID 列:选 Column 1
  • number:选 Column 2
  • created_time:选 Column 3
  • closed_time:选 Column 4 -merged_time:选 Column 5
  • is_merged:选 Column 6
  • add_lines:选 Column 7
  • delete_lines:选 Column 8
  • rank:选 Column 2

参考下图:

图片同理,将其他的 2 个 tag 和 1 个 edgetype 关联之后,点击导入按钮:

图片

输入你的 NebulaGraph 服务密码(nebula)。等待数据导入…

图片

等导入任务完成之后,我们去 Schema 页面看下数据【统计】点击下【更新】按钮:

图片

如果你的数据和我的数据相同,说明你已经成功了,我们开始探索图数据库。

  • 探索图数据

现在,我们开始探索下刚导入进去的数据。探索数据之前,我们先创建几个索引来检索数据:

依旧是 Schema 页面,进入图空间之后,看到【索引】选项,我们需要创建几个索引:

  • 标签索引
  • contributor 它的属性 is_vesoft 为索引
  • org 索引,可不选属性
  • repo 它的属性 name 为索引
  • 边类型索引
  • belong 索引,因为它本身就没有属性,直接创建边索引即可
  • PR 的 closed_time 属性索引
  • PR 的 is_merged 属性索引

等我们创建完所有索引之后,对所有的索引进行【重建索引】。记得所有都得重建完成哦~~

准备工作做完,我们开始探索数据。

如果你是尊贵的企业版用户(绿色通道用户),我们直接用 nebula-explorer 的可视化探索(Visual Query),和草图类似:把 3 个 tag 拖出来,通过边进行链接,在边上选中边类型,像下图这样:

图片

点击右上角的【查询】,你就可以看到相关数据了:

图片

上图点击了红框中的边聚合,将同类型的边进行了聚合,看过去非常清爽。

上面的只是简单查询了图模型的对应数据,你可以加一点点筛选条件,比如:“找出非 NebulaGraph 雇员的人的 PR 合并情况”,你可以在 Visual Query 界面加入过筛条件:

执行(查询)下,可以看到相关的数据:

图片

而 nebula-stuido 的用户不能通过拖拽看到数据,可以前往左上角导航的【控制台】功能,选择图空间为 nebula-contributor 之后,输入下面的查询语句:

`MATCH (v0:`contributor`)-[e1:`PR`]->(v2:`repo`)-[e3:`属于`]->(v1:`org`) RETURN e1,e3 LIMIT 100`

等到和 nebula-explorer 类似的结果:

图片

点击【可视化】,得到下图类似的可视化结果(因为查询时随机返回 100 条边,可能你的数据和下图有出入):

恭喜,你现在已经会图探索了 👏 。

可能你对文中用到的一些术语感到困惑,记得去读一读 NebuleGraph 的文档:https://docs.nebula-graph.com.cn/3.6.0/

完成本文实操的小伙伴,记得截图你的查询结果并联系星云小姐姐领取限量的春节学图礼包哟~ (限量 10 份的现金礼包在等你)

下面,放几个基于本数据集的一些探索图:

PR 还没被合并的小伙伴分布(下图为 nebula-explorer 的可视化展示,用上了点的换图标功能):

最后,读到本文的你一定在龙年了。祝你龙年腾飞,五福起飞。


Tag
Recommended for you
green iguana

技术分享

使用 nebula-spark-connector 3.6 版本搭建备集群实践
green iguana

技术分享

来自开发者的认可,NebulaGraph Star 突破 10,000 大关
green iguana

技术分享

多年 NLP 从业者对 LLM 和知识图谱的一些看法