NebulaGraph BR 开源已经有一段时间了，为了给社区用户提供一个更稳、更快、更易用的备份恢复工具，去年对其进行了比较大的重构。NebulaGraph BR（以下简称 BR）分为社区版和企业版两个版本，企业版在社区版功能的基础上，**额外提供了增量备份的能力**。而本文将以 BR 社区版为例，简单介绍 BR 的一些实现细节并通过上手练习来讲述如何使用 BR 进行 NebulaGraph 数据的备份恢复。

## 什么是 BR

BR 即 Backup & Restore 的简称，是一款对 NebulaGraph 集群数据（包括元信息和数据信息）备份到远端，并利用备份数据对集群进行恢复的工具。仓库地址在此：[https://github.com/vesoft-inc/nebula-br](https://github.com/vesoft-inc/nebula-br)。

## 什么是 NebulaGraph Agent

NebulaGraph Agent 是一个只关心本机的无状态的 RPC 服务，与 metad 通信，提供备份文件上传和下载、服务起停等接口供 BR 调用。在开始备份恢复前，需要确保集群的每个节点上部署了一个 agent，可以通过 `SHOW HOSTS AGENT` 查看 agent 的状态。仓库地址在此：[https://github.com/vesoft-inc/nebula-agent](https://github.com/vesoft-inc/nebula-agent)。

整体架构如下图所示：

![](https://nebula-website-cn.oss-cn-hangzhou.aliyuncs.com/nebula-blog/nebula-br/nebula-agent-architecture.png)

由于 NebulaGraph Agent 分布在集群的各个节点上，**在备份恢复时，BR 带来的 CPU 和网络 IO 开销会分散到各台机器上**，使其可以轻松应对大规模集群的备份恢复场景。

## 上手 BR

为了能让大家更快的熟悉 BR 工具，让我们从零开始，做一个简单的实操练习，来体验目前 [nebula-br](https://github.com/vesoft-inc/nebula-br) 支持的所有功能。

### 环境准备

首先，我们需要创建一个 NebulaGraph 集群，**目前 BR 工具不支持在容器场景执行备份恢复**，可以通过下载安装包的方式在虚拟机上安装，参考文档：[https://docs.nebula-graph.com.cn/3.3.0/2.quick-start/3.quick-start-on-premise/2.install-nebula-graph/](https://docs.nebula-graph.com.cn/3.3.0/2.quick-start/3.quick-start-on-premise/2.install-nebula-graph/)。

在集群创建完成后，可以通过 [nebula-console](https://docs.nebula-graph.com.cn/3.3.0/nebula-console/)（NebulaGraph 的命令行工具）来连接它。

执行下面的命令，为集群导入一个 [basketballplayer](https://docs-cdn.nebula-graph.com.cn/dataset/dataset.zip) 的数据集：

```shell
(root@nebula) [(none)]> :play basketballplayer
Start loading dataset basketballplayer...
 
Load dataset succeeded!
```

在成功导入数据后，执行下面的命令来查看 basketballplayer 的点边统计

```shell
(root@nebula) [basketballplayer]> submit job stats
+------------+
| New Job Id |
+------------+
| 2          |
+------------+
...
 
(root@nebula) [basketballplayer]> show stats
+---------+------------+-------+
| Type    | Name       | Count |
+---------+------------+-------+
| "Tag"   | "player"   | 51    |
| "Tag"   | "team"     | 30    |
| "Edge"  | "follow"   | 81    |
| "Edge"  | "serve"    | 152   |
| "Space" | "vertices" | 81    |
| "Space" | "edges"    | 233   |
+---------+------------+-------+ 
...
```

接着，我们下载 BR 工具的二进制文件：

```shell
wget https://github.com/vesoft-inc/nebula-br/releases/download/v3.3.0/br-3.3.0-linux-amd64
```

### 部署 NebulaGraph Agent 服务

在准备好集群环境后，需要在每台机器上安装并启动 NebulaGraph Agent服务

#### 1. 下载 NebulaGrpah Agent 二进制文件

```
wget https://github.com/vesoft-inc/nebula-agent/releases/download/v0.2.0/agent-0.2.0-linux-amd64
```

#### 2. 启动 nebula-agent

```
nohup ./agent-0.2.0-linux-amd64 --agent="<agent_node_ip>:8888" --meta="<metad_node_ip>:9559" > nebula_agent.log 2>&1 &
```

该命令会启动一个监听 8888 端口的 nebula-agent 服务。`--agent` 的 port 可以自定义，`--meta` 的 ip、port 需要与集群 meta 保持一致。

可以在 nebula-console 中执行下面的命令查看 agent 的状态：

```
(root@nebula) [basketballplayer]> SHOW HOSTS AGENT
+-----------------+------+----------+---------+--------------+---------+
| Host            | Port | Status   | Role    | Git Info Sha | Version |
+-----------------+------+----------+---------+--------------+---------+
| "192.168.8.144" | 8888 | "ONLINE" | "AGENT" | "96646b8"    |         |
+-----------------+------+----------+---------+--------------+---------+
...
```

当集群中所有 agent 都 online 后，我们可以执行备份恢复命令：

### 使用 BR 备份数据

BR 目前支持备份 NebulaGraph 集群的数据到本地或者 S3 上。为了方便练习，我们采用本地备份的方式，在生产环境，我们推荐用户将数据备份到 S3 上。备份命令如下：

```
./br-3.3.0-linux-amd64 backup full --meta "192.168.8.144:9559" --storage "local:///home/nebula/backup"
```

该命令会对 Meta 服务的地址为 `192.168.8.144:9559` 的 NebulaGraph 集群进行全量备份，并将备份文件保存到本地的 `/home/nebula/backup` 目录下。

### 查看备份信息

备份完成后，我们可以通过下面的命令来查看备份信息：

```
./br-3.3.0-linux-amd64 show  --storage "local:///home/vesoft/backup"

+----------------------------+---------------------+------------------+-------------+------------+
|            NAME            |     CREATE TIME     | SPACES           | FULL BACKUP | ALL SPACES |
+----------------------------+---------------------+------------------+-------------+------------+
| BACKUP_2023_01_18_09_42_10 | 2023-01-18 17:42:10 | basketballplayer | true        | true       |
+----------------------------+---------------------+------------------+-------------+------------+ 
```

### 使用 BR 恢复数据

当集群数据出现问题时，我们可以使用 BR 基于之前备份的数据进行恢复。为了模拟数据丢失场景，可以执行下面的命令将 basketballplayer space 的数据清除。

```
(root@nebula) [basketballplayer]> DROP SPACE basketballplayer;
Execution succeeded (time spent 2253/3002 us)
...
```

将 space 删除后，执行下面命令进行数据恢复。

```
./br-3.3.0-linux-amd64 restore full --meta "192.168.8.144:9559" --storage "local:///home/vesoft/backup" --name BACKUP_2023_01_18_09_42_10
```

该命令会让 BR 从 `/home/vesoft/backup/BACKUP_2023_01_18_09_42_10` 读取备份数据，对 Meta 服务地址为 `192.168.8.144:9559` 的 NebulaGraph 集群进行恢复。

恢复完成后，我们可以通过 nebula-console 执行以下命令，查看恢复后的集群数据。理论上，此时的数据应该与备份之前的数据保持一致。

```
(root@nebula) [(none)]> use basketballplayer Execution succeeded (time spent 1130/1823 us)
...
 
(root@nebula) [basketballplayer]> submit job stats
+------------+
| New Job Id |
+------------+
| 3          |
+------------+
...
 
(root@nebula) [basketballplayer]> show stats
+---------+------------+-------+
| Type    | Name       | Count |
+---------+------------+-------+
| "Tag"   | "player"   | 51    |
| "Tag"   | "team"     | 30    |
| "Edge"  | "follow"   | 81    |
| "Edge"  | "serve"    | 152   |
| "Space" | "vertices" | 81    |
| "Space" | "edges"    | 233   |
+---------+------------+-------+ 
...
```

### 清理备份数据

在恢复完成后，我们可以执行下面的命令清理本次的备份数据。

```
./br-3.3.0-linux-amd64 cleanup  --meta "192.168.8.144:9559" --storage "local:///home/vesoft/backup" --name BACKUP_2023_01_18_09_42_10
```

以上为本次 NebulaGraph 备份工具 nebula-br 的介绍。

---

**谢谢你读完本文** (///▽///)

要来近距离体验一把 nebula-br 特性么？NebulaGraph 阿里云计算巢现 30 天免费使用中，[点击链接](http://c.nxw.so/dvdGf)来用用图数据库 NebulaGraph 和图数据备份 BR 吧~

想看 nebula-br 源码的小伙伴可以前往 GitHub 阅读、使用、(^з^)-☆ star 它 -> [GitHub](http://c.nxw.so/949Gz)；和其他的 NebulaGraph 用户一起交流图数据库技术和应用技能，留下[「你的名片」](http://c.nxw.so/9jvQN)一起玩耍呢~

本文以 NebulaGraph Backup & Restore 社区版为例，简单介绍 BR 的一些实现细节并通过上手练习来讲述如何使用 BR 进行 NebulaGraph 数据的备份恢复。

一文上手图数据备份恢复工具 NebulaGraph BR

NebulaGraph Exchange 的性能如何？哪些参数调整下可以有更好的性能？本文带你了解 NebulaGraph Exchange 的最佳使用姿势。

从实测出发，掌握 NebulaGraph Exchange 性能最大化的秘密

LOOKUP 是图数据库 NebulaGraph 的一个查询语句。它依赖索引，可以查询点或者边的信息。本文将着重从源码的角度解析一下 LOOKUP 语句的一生是如何度过的。

读 NebulaGraph源码 ｜ 查询语句 LOOKUP 的一生

![](https://nebula-website-cn.oss-cn-hangzhou.aliyuncs.com/nebula-blog/open-source-summer-visual-screen.png)

## 初识开源之夏

### 结缘 NebulaGraph

Hello，⼤家好，我叫刘⽂豪。⽬前是⼀名计算机专业的研⼆研究⽣，就读于北京邮电⼤学。我很⾼兴能参与到这次的开源之夏项⽬中，加⼊到了 NebulaGraph 的社区建设中，并成功完成了可视化⼤屏项⽬的实现。

说起与开源之夏结缘，需要归功于我的好朋友男哥，他是我实验室的同⻔，在研⼀的时候给予了我很多帮助。他是⼀名技术控，对数据库、云原⽣、传统前后端开发等各个领域都有涉猎，在本次开源之夏的活动中参与了 KubeVela 社区的项⽬，取得了丰硕的成果。在今年上半年北京疫情冲击下，我们北邮经历了⼀段封校的⽇⼦，在百⽆聊赖之际，男哥向我们推荐了本次开源之夏的活动，成为了我开源之夏的引路⼈。

在选取开源之夏的项⽬时，我根据⾃身特点进⾏考虑——我研⼀时接⼿了实验室⼀个国家级项⽬的前端部分。在开发迭代过程中，与负责后端的男哥有许多交流。我当时认为⾃⼰对前端⽅向的⼯程化实现更感兴趣⼀些，也⾃学了很多前端领域的知识。但前端⽅向的特点是杂乱，加上国内前端⽣态建设良莠不⻬，很容易让⼈摸不清努⼒的⽅向。如果能找到⾏业内从业多年的⾼⼿亲⾃指导，将事半功倍。抱着试⼀试的态度，我主动联系了我的导师汪洋，浏览运⾏了 NebulaGraph Dashboard 的项⽬，甚⾄还发现了⼀个⼩ bug，提了⾃⼰在 GitHub 上的第⼀个 PR。

### 介绍下这是我的导师

汪哥给我的初印象是⽐较平易近⼈，⽽且反馈很快，不是那种⾼⾼在上的导师，能够亲⾃指导⼀些技术上 Google 不到的具体问题。在仔细考量对⽐之后（导师汪洋通过了考核🎉），我选择了 NebulaGraph 社区的可视化⼤屏实现的项⽬。

很多同学可能会认为，追求名字看上去“⾼⼤上”的项⽬才是正确的。⽽我认为，**⽆论是怎样的项⽬，能落地才是最重要的**。

我认为⼀个项⽬能否成功落地主要取决于两点：

1. 项⽬本身是否具有可⾏性；
2. 参与项⽬的⼈是否靠谱。

这两点也在最终敲定项⽬⼈选的⾯试时，双⽅达成了⼀致。

## “辛”而不酸的项目史

![](https://nebula-website-cn.oss-cn-hangzhou.aliyuncs.com/nebula-blog/nebulagraph-dashboard-visual-screen.jpeg)

### 这可是可视化大屏

可视化大屏项⽬旨在帮助运维⼈员更直观、便捷地感知系统内的各项关键指标，设计出 NebulaGraph Dashboard 的 Community 版可视化⼤屏。

整个项⽬流程涉及**需求分析**、**原型设计**、**代码实现**、**合⼊仓库**等完整的软件开发流程，深⼊体验了企业内部产品的上线、开发流程。

在整个开发流程中，代码实施只是其中的⼀部分。导师汪洋考虑到⼯作量较⼤，尤其是起步的需求分析和原型设计部分，期望更多的开源⼒量加⼊本次项⽬开发中。这不是巧了，来⾃美国的宇晴⼩姐姐对这个可视化项目也很感兴趣，经过协商沟通，宇晴⼩姐姐也参与到了我们的项⽬开发中，我们组成了三⼈的开发⼩团队。

在起步阶段，我们做了详细的调研，仔细阅读导师汪洋提供的材料，敲定了设计蓝图、开发语⾔、框架、环境。我们选择重新设计仪表盘的整体布局，在打包⼯具的选择上，我们⽤ Vite 搭建了新的开发环境，没有使⽤旧的 WebPack 开发环境，提⾼了开发效率。

在具体的代码实施阶段，因为我跟宇晴的跨时区因素，**体验了⼀下近年很⽕的跨国团队的远程协作⽅式**——⼤家在项⽬沟通群中提出问题，明确各⾃的分⼯，采⽤“接⼒式”的开发模式，分别在各⾃时区的⼯作时间，在 NebulaGraph 社区提供的开发机上进⾏代码编写。我们也经常会在群⾥提前商量时间，来进⾏⼩组组会，确保项⽬的顺利推进。⼩组组会的形式和内容，也随着项⽬开发阶段的深⼊，不断地在做调整适应，做到了灵活性和有效性的统⼀。

## 开源之旅不停

虽然可视化大屏是一个开源之夏的项目，项目总有结项之日。但是，开源之旅不停，后续我将会从以下方面继续走我的开源之路：

* 优化 UI 设计、提升代码质量
* 更多参与开源社区的建设中

### 在开源之夏感受开源的魅力

本次活动，我亲身体会了 NebulaGraph 社区友好的开源氛围。

而我认为**开源社区的魅⼒在于，它不仅只为代码⾼⼿开放，还欢迎刚⼊⻔的⼩⽩**。我在参与到 NebulaGraph 的社区前，并没有从零开始完整地搭建过⼀个⼤型的前端项⽬，缺乏对所学前端知识的整合。

⽽宇晴⼩姐姐是转码选⼿，今年还⾯临着严峻的应聘形势。我们在整个项⽬开发过程中，互帮互助，相互⿎励，不仅攻克了⼀个个具体的问题，更收获了信⼼和彼此之间的友谊。这⼀切的根源在于，我们勇敢地迈出了最重要的第⼀步，选择主动参与到开源之夏的活动中，并且幸运地加⼊到了 NebulaGraph 社区。在 NebulaGraph 社区，⽆论是负责技术的汪哥，还是负责运营的迷⼈的⼩姐姐，都向我们展示出了他们积极、宽容、耐⼼的友好开源氛围，帮助我们顺利完成了第⼀步的开源之路。


### 在开源中提升自我

很明显的是**能⼒提升**，在整个项⽬的开发过程中，我们各⽅⾯能⼒都有所提升，具体体现在以下两点：

#### 技术和⽂档能⼒

我的调研技术⽅案、学习技术细节、应⽤技术解决具体问题的效率得到了显著提⾼。在实践中，⼀步步利⽤所学的零碎的技术知识，孕育出了完整的产品呈现。

开源之夏的官⽅组需要提供结项报告等书⾯材料，**我们没有敷衍了事，⽽是选择了使⽤全英⽂的书写模式**，认真地完成了组委会的要求。我认为**⽆论是为了社区层⾯的与国际开源社区接轨的需要，还是为了个⼈层⾯的⻓期职业发展的考量，选择主动提升英⽂技术⽂档的能⼒，都是必要且正确的**。

纵观前端发展的历史，⽆论是之前的 Flash、JQuery，还是如今的 Vue、React，都只是各个时期流⾏的代表技术⽅案。⽆论它们的设计多么精巧，代码多么规范，终有⼀天会被淘汰。掌握了对它们的使⽤，仅仅是达到了熟练运⽤“术”的⼯具层⾯。近年，前端各领域发展迅速，各种技术⽅案层出不穷，经常会有⼈调侃“学不动了” 。我也在刚⼊⻔的初期，陷⼊了努⼒⽅向的误区，以尝试各种新鲜的技术⽅案作为主要兴趣驱动点。随着项⽬的深⼊进⾏，我逐渐摸清了作为“道”的能⼒层⾯。我知道了作为职业⽣涯初期的菜⻦选⼿，应该着重养成良好的职业态度和职业习惯，⽽不是⼀味沉迷于粗浅地了解各种技术实现⽅案。加上⼤环境⻛云突变，对应届⽣就业趋势越发地不友好。如果只是将⾃⼰培养成专注“术”的技术熟练⼯，⽽不是关注“道”的技术爱好者，也将丧失⾃⼰作为应届⽣的优势。

#### 沟通和协作能⼒

在项⽬开发的过程中，如何进⾏有效的沟通和协作成为了⼀个很重要的议题，尤其是在社会分⼯⽇益精细化的今⽇。我们三⼈⼩团队均是拿出⾃⼰的业余时间来参与到项⽬中，关于沟通协作⽅式、各⾃时间安排上，都进⾏了多次的讨论和改进。开源对多数人来说是⼀项业余爱好的任务，很少有⼈能够全职从事其中。⽽能有机会在职业⽣涯未正式开始之前，就参与到有公司导师牵头的开源项⽬中，也算是⼀⼤幸事，希望能为⾃⼰未来的团队协作能⼒奠定⼀个良好的基础。

### 开源之外的友谊

感谢开源之夏官⽅提供这次机会，让我有机会接触到 NebulaGraph 社区，认识了运营⼩姐姐、汪哥和宇晴。我认为任何东⻄想要做成，关键在于“⼈”的部分。有优秀的⼈才，就会有良好的氛围，就能孕育出有意思的产品。我跟汪哥、宇晴的三⼈⼩群，也逐渐成为了⽆话不谈的地⽅。虽然我们三⼈背景、身份各异，但产⽣了⾮常良好的化学反应。希望在以后的⽇⼦⾥，⼤家能够铭记这段有意思的经历，砥砺前⾏，奋发向上。

在这个不确定性⼤⼤增加的时代⾥，努⼒制造⼀些确定的⼩温馨。希望⼤家之后继续为 Nebula 和其他开源社区添砖加瓦，贡献⾃⼰的⼒量，共同缔造⼀种良好的氛围，照亮⼀束光，指引前进的⽅向。

本文来自于开源之夏参与者的投稿，一起来看看来自北京邮电大学-计算机专业的研二学生刘⽂豪在这次项目中的收获与感受吧。

「开源之夏」分享：在可视化大屏中摸清技术方向

来自亚马逊云科技上海人工智能研究院的资深应用科学家王敏捷分享开源图深度学习框架的挑战 以及 NebulaGraph 图数据库是怎样帮助解决这些问题的。

开源图深度学习框架 DGL 的机遇与挑战｜NUC2022

![NebulaGraph x 阿里云计算巢云上构建超大规模图数据库](https://www-cdn.nebula-graph.com.cn/nebula-website-5.0/images/blogs/aliyun/0.jpeg)

近期，杭州悦数科技有限公司与阿里云计算巢达成合作，[NebulaGraph 作为首款图数据库产品正式入驻阿里云计算巢](https://maimai.cn/article/detail?fid=1740038234&efid=VakGUTuwHuuRfw7H5HFQZw)，为用户带来了云端一键部署企业级图数据库集群的全新体验。同时，该服务集成了多款 NebulaGraph 周边可视化图数据库管理工具，让用户在云端也可以快速从数据中获得洞察力。

**近年来，图数据库的概念被越来越多的企业反复提及**。图（Graph）是一种存储实体，及实体之间关系的数据结构，而图数据库（Graph Database）则是一个使用图数据进行存储，同时使用图结构进行语义查询的数据库。

图数据库能够高效地将关联数据的实体作为顶点(vertex)存储，关系作为边(edge)存储，并允许对这些点边结构进行高性能的检索和查询，也可以为这些点和边添加属性。正因为具有这些特性，才使得图数据库能够以最接近直观认知的形式存储数据，并且能够将这些关系完美地呈现出来。

# 图数据库的发展趋势

## 为什么要使用图数据库，而不是关系型数据库？

关系型数据库实现了快速的逐行访问和数据一致性(ACID 事务)，但当数据规模变大且数据间关系变得复杂时，使用关系模型检索时需要多个表的属性执行连接操作，数据写入时也需考虑外键约束，从而导致较大的额外开销，对性能有极高的要求。而图数据库则在处理复杂关系上有着天然优势，尤其在海量数据多对多的复杂实体联系场景中有着异常突出的表现，主要体现在性能、灵活性和敏捷性三个方面。

![关系型数据库 vs 图数据库的对比（多跳查询）](https://www-cdn.nebula-graph.com.cn/nebula-website-5.0/images/blogs/aliyun/1.png)

其次，图数据库是基于图模型以一种直观的方式存储和展示这些关系。因为是基于事物关系的模型表达，图因此也具有天然的可解释性。

目前，图数据技术因其在处理海量关联数据时的天然优势和符合人脑直观印象的展示形式正被应用在多个行业的生产环境和业务实践场景中。例如，**数据集成(知识图谱)、个性化推荐、欺诈与威胁检测、风险分析与合规、身份(与控制权)验证、IT 基础设施管理、供应链与物流、社交网络研究等，甚至于 AI机器学习、NLP（自然语言处理）、区块链等新兴技术领域，你都可以看到图数据技术的身影**。	

## 上云的趋势在加速，对于弹性能力提出更高要求
						
根据 Gartner 的预计，云服务一直保持较快的增速和渗透率。大量的商业软件，正在从 10 年前完全私有本地逐步转向基于云服务的商业模式。 云服务的一大优点是其提供了近乎无限的弹性能力，这也要求各种基于云基础设施的软件必须有更好的快速弹性扩缩容能力。 

![据 Gartner 统计全球云服务继续保持较快增速和渗透率](https://www-cdn.nebula-graph.com.cn/nebula-website-5.0/images/blogs/aliyun/2.png)

在此背景下，分布式图数据库 NebulaGraph 成为了阿里云计算巢上第一家图数据库合作伙伴，与阿里云一起帮助更多企业用户更好地进行低成本、高效率的云上图数据库部署。

“**对于数据库产品来说，底层基础设施的稳定性以及安全性对于客户来说至关重要**。阿里云是国内领先的云计算提供商，我们看重其稳定的基础设施和安全性，此次与阿里云计算巢的合作，通过计算巢更高效地利用底层资源的弹性扩缩容以及便捷的服务编排等能力，可以使我们的客户放心、省心地使用基于云上的 NebulaGraph 产品。”NebulaGraph 创始人兼 CEO 叶小萌表示。

# 什么是云原生图数据库？

云原生，即云上内生的云能力，天然就“生于云，长于云”，基于统一的架构和云原生基础设施，实现多云/混合云解决方案、边云协同等能力。云原生时代下，企业应用数据的方式发生了根本性变化，即基于统一云基础设施的云原生数据库、大数据解决方案，将成为企业数字化转型的数据底座。
 
传统模式下，企业采购硬件资源，数据库部署在自建 IDC 并由企业监管和运维。企业的开发人员则采用 DevOps 模式或安排 IT 人员来管控数据库。接入业务后要时刻关注数据库集群状态来保障可用性，这对数据库内部实现不太了解的用户来说是个巨大的挑战。**而云计算作为技术载体，天然具备跨越时空的优势，云技术正在从单一的计算能力发展为体系化的创新**。对于企业来说，“上云”是一个技术选择、是企业数字化的起点，而基于云构建新的生产关系，打造新的业务增长引擎则是一个战略选择。

NebulaGraph 是一个可靠的分布式、线性扩容、性能高效的图数据库，其 Shared Nothing 和存储计算分离的底层架构让它具有了云原生的特征，可以有效降低成本和弹性扩缩容。而云端部署则屏蔽了数据库部署、性能调优、运维等繁杂过程，几分钟内就可以在云上创建一个图数据库，并快速扩展计算、存储等资源。

作为能够容纳海量关联数据并进行毫秒级查询延时的高性能图数据库产品，NebulaGraph 已经被多家行业领先的科技和通信公司应用在反欺诈、风险控制、社区发现等场景，其中某头部互联网公司的 NLP 团队也基于 NebulaGraph 搭建了自己的图数据库平台，目前已经有 60多条业务线接入使用，在智能助理、搜索召回等业务场景均已落地。

![NebulaGraph 在阿里云上部署的架构图](https://www-cdn.nebula-graph.com.cn/nebula-website-5.0/images/blogs/aliyun/3.png)
 
# 在云上部署 NebulaGraph 有哪些好处？

## 开箱即用：快速部署更方便

由于云厂商提供了统一的基础设施，企业无需自行采购硬件，还可以根据业务的灵活度和资源需求弹性调配云资源，实现快速上线。基于阿里云计算巢提供的ROS（资源编排），NebulaGraph实现了云上自动化部署，几分钟内即可交付一个图数据库集群，相比传统以天、甚至以周为单位的交付周期，有极大的提升。

其次，NebulaGraph Cloud 支持包年包月与按量付费的灵活付费方式，节省新购设备、自建机房等一次性建设费用，当不再需要的时候可以及时销毁，显著降低了研发成本。为了进一步的优化体验，下一阶段 NebulaGraph 还将结合自身在云上的优化特性和测试结果，陆续推出高性价比的云服务器规格套餐，让用户以更低的价格获得更高的性能，大家不妨也拭目以待一下。 
 
## 高可用性：数据备份更安心

- **架构高可用**

NebulaGraph 集群包含三类服务，即 Query Service、Storage Service 和 Meta Service。
 
![](https://www-cdn.nebula-graph.com.cn/nebula-website-5.0/images/blogs/aliyun/5.png)

1、Meta Service 采用 Leader/Follower 架构。 Leader由集群中所有的 Meta Service节点选出，然后对外提供服务；Followers 处于待命状态，并从 Leader 复制更新的数据。一旦 Leader 节点 Down 掉，会再选举其中一个 Follower 成为新的 Leader。

2、 Query Service 对应的进程是 nebula-graphd ，它由完全对等、无状态、无关联的计算节点组成，计算节点之间相互无通信。

3、Storage Service 采用 Shared-nothing 的分布式架构设计，共有三层，最底层是Store Engine，它是一个单机版 Local Store Engine，提供了对本地数据的get/put/scan/delete 操作，该层定义了数据操作接口，用户可以根据自己的需求定制开发相关Local Store Plugin。
 
在Local Store Engine之上是 Consensus 层，实现了Multi Group Raft，每一个Partition都对应了一组Raft Group。

- **数据可靠性**

**NebulaGraph 数据存储使用阿里云的云盘产品。云盘是阿里云为云服务器ECS提供的数据块级别的块存储产品，具有低时延、高性能、持久性、高可靠等特点**。云盘采用分布式三副本机制，为 ECS 实例提供极高的数据可靠性保证。

![](https://www-cdn.nebula-graph.com.cn/nebula-website-5.0/images/blogs/aliyun/6.png)
 
## 极致弹性：存算分离更可靠

**NebulaGraph 采用存储与计算分离的架构**。存储计算分离有诸多优势，最直接的优势就是，计算层和存储层可以根据各自的情况弹性扩容、缩容。存储计算分离还带来了另一个优势：使水平扩展成为可能，通过云上极致弹性能力，保障自身扩缩容需要。

NebulaGraph 在集群部署时会创建两个弹性伸缩组，一个对应 Graph 服务，另一个对应 Storage 服务。为了更好的扩缩容体验，我们做了以下考量：

**1.将部分控制权交到用户手里**。如果是 Graph 服务只需要将 ECS 资源按照目标数量弹性伸缩即可，因为 Graph 本身是无状态的；如果是 Storage 服务，我们会在编排页面提供一个控制开关，用于弹性扩容后是否自动平衡数据，因为在业务高峰期时数据搬迁会影响服务稳定性，所以何时去执行 balance 操作可以由用户自己来完成，部署的 Dashboard 工具也支持这个操作。

**2.安全保护策略**。大家都知道数据库服务数据不丢失是第一要素，因此我们对 Storage 伸缩组启用了删除保护开关以防止用户误操作，另外当用户需要缩容时，需要先在 Dashboard 界面找到对应伸缩组管理的 Storage 节点执行数据分片移除操作，等到数据分片清空后才会接受弹性伸缩lifecycle-hook请求。

除此之外，**阿里云的弹性扩缩容提供了丰富的伸缩规则与定时任务能力，用户可以针对业务波动情况以及应用场景（OLTP或者OLAP）动态伸缩 Graph 节点，针对CPU平均使用率弹性扩容 Storage 节点**。

![](https://www-cdn.nebula-graph.com.cn/nebula-website-5.0/images/blogs/aliyun/7.png)
 
## 安全可靠：角色身份可溯源

**NebulaGraph 支持严格的角色访问控制和 LDAP（Lightweight Directory Access Protocol）等外部认证服务，能够有效提高数据安全性**。当客户端连接到 NebulaGraph 时，NebulaGraph 会创建一个会话，会话中存储连接的各种信息，如果开启了身份验证，就会将会话映射到对应的用户。

同时，NebulaGraph 内置角色权限，用户可以把角色分配给创建的用户，从而实现访问控制。

![NebuaGraph 内置角色权限，角色身份可溯源](https://www-cdn.nebula-graph.com.cn/nebula-website-5.0/images/blogs/aliyun/8.png)
 
# 如何在云上部署 NebulaGraph ？

目前，NebulaGraph 与阿里云计算巢正在开展**限时免费试用活动**，需要试用的用户登录到阿里云计算巢后，先申请试用权限，填写信息审批通过后，就可以看到一个完全白屏化的服务创建页面。

在引导步骤里填写必须的配置参数，一键提交后等待 5 分钟左右即可体验 NebulaGraph，随后正常使用图数据的各种功能即可，大大降低了用户部署数据库的门槛。

![如何在阿里云计算巢上快速部署 NebulaGraph](https://www-cdn.nebula-graph.com.cn/nebula-website-5.0/images/blogs/aliyun/9.png)

欢迎有兴趣的小伙伴直接去阿里云计算巢 [官网](https://market.aliyun.com/isv-nebulagraph) 体验 NebulaGraph 服务。

---
参考内容：

1.[《Gartner 2019 年十大数据和分析技术趋势》](https://www.gartner.com/en/newsroom/press-releases/2019-02-18-gartner-identifies-top-10-data-and-analytics-technolo)

2.[《NebulaGraph 官方文档》](https://docs.nebula-graph.com.cn/3.3.0/1.introduction/1.what-is-nebula-graph/)

3.《图数据库白皮书》- 中国信息通信研究院 云计算与大数据研究所



14天免费试用限时开启！NebulaGraph 作为首款图数据库产品正式入驻阿里云计算巢，为用户带来了云端一键部署企业级图数据库集群的全新体验。

NebulaGraph x 阿里云计算巢，云上构建超大规模图数据库｜深度解读

![NUC2022-图数据库用户大会](https://www-cdn.nebula-graph.com.cn/nebula-website-5.0/images/blogs/NUC2022/overview/image9.png)

上周，由开源分布式图数据库 NebulaGraph 主办的 2022 年度用户大会（NebulaGraph User Conference，以下简称 “NUC”） 在杭州顺利举办。本次大会以 “Graph · The Future of Big Data” 为主题，来自纽约大学、复旦大学、浙江大学的专家学者以及中国移动、五矿期货、阿里云、同盾科技、Sensoro、Graph XR 等知名企业的用户与生态伙伴逐一亮相，**从学术发展和企业实践等多个角度发表了精彩的分享，共绘图技术未来蓝图**。

# 图技术发展及未来趋势

作为近十年发展最为迅猛的数据库类型，图数据库一直是大数据行业内最受关注的技术类型之一，从 2021 年第一季度到刚刚结束的 2022 年第三季度，NebulaGraph 的实名用户数实现了 6 倍多的增长，说明了图数据库市场正逐渐走向成熟。

**NebulaGraph 创始人兼 CEO 叶小萌表示，未来 3-5 年间，图语言标准的制定将是推动行业发展的重要事件**。 NebulaGraph 通过加入 LDBC（关联数据基准委员会），参与其 Benchmark、GQL community 等一系列工作努力推动这一重要的历史进程，并将在未来全面支持 ISO GQL 标准。**产品能力方面，NebulaGraph 将持续提升查询性能和并发度，进一步增强系统的弹性能力，同时将努力支持更大规模的数据量级，通过集成图计算框架和图学习框架，打造一站式图解决方案**。

![NebulaGraph 创始人兼CEO叶小萌的分享](https://www-cdn.nebula-graph.com.cn/nebula-website-5.0/images/blogs/NUC2022/overview/image10.png)

**来自复旦大学计算机科学技术学院的肖仰华教授分享了知识图谱与图计算研究的最新成果**，介绍了图计算如何通过知识表示、知识获取、知识管理三个方面对知识图谱的发展发挥重要的支撑作用。目前，大规模图神经网络（GNN）对于巨图的分布式计算提出了新的挑战，而图数据库与知识图谱等技术的结合，将进一步释放关联数据的能量，提升数据产业发展的能级。

![复旦大学计算机学院_肖仰华教授_GNN对图Graph提出新的挑战](https://www-cdn.nebula-graph.com.cn/nebula-website-5.0/images/blogs/NUC2022/overview/image12.png)

**来自亚马逊 AWS 开源图神经网络框架 DGL 团队的负责人， 资深 AI 应用科学家王敏捷博士在 NUC 现场解读了开源图深度学习框架的机遇与挑战**，分享了 DGL 作为全球领先的开源图神经网络系统的技术特点。图神经网络（GNN）系统仍然面临着诸如易用性、高性能和大规模图方面的挑战，而图数据库与深度学习框架的结合将是未来值得尝试的一个新方向。

![亚马逊AWS图神经网络框架DGL负责人_王敏捷博士_图机器学习框架](https://www-cdn.nebula-graph.com.cn/nebula-website-5.0/images/blogs/NUC2022/overview/image14.png)

**NebulaGraph 的 PMC 吴敏博士在大会上介绍了图行业发展及标准**。图数据库的发展可以大致分为三个阶段：1960-1980s-数据模型与数据系统的定义阶段，2010s-图数据库与图计算系统相互促进阶段，2018 至今-图 + AI 的快速兴起阶段。根据 Gartner 的预测，未来 3-5 年图技术领域将进入成熟期，而来自中美两大市场的图数据库产品也将在不同的发展阶段呈现出新的发展趋势。

![NebulaGraph_吴敏博士_图行业发展标准](https://www-cdn.nebula-graph.com.cn/nebula-website-5.0/images/blogs/NUC2022/overview/image3.png)

**NebulaGraph 开源技术社区的负责人田忠博士为观众带来了图数据库查询语言国际标准 GQL 的最新进展**。目前，包括中国在内的 10 个国家成员体专家参与了 GQL 的研发，预计在 2023 年 4 月 ISO/IEC JTC1 将启动 GQL 标准最终稿的投票，并将在 2024 年正式形成统一的国际标准。

# 最佳用户实践

**作为近期刚刚落地 NebulaGraph 知识图谱解决方案的企业代表，五矿期货有限公司副总经理张剑锋带来了 [期货行业在图数据库应用领域的实践探索](https://www.nebula-graph.com.cn/posts/graphdatabase-application-of-financial-investment) 分享。目前，五矿期货已经初步建立了知识图谱的本体模型，在与普适智能联合打造的知识图谱解决方案中将 NebulaGraph 作为图技术底座使用在辅助投研、金融事件分析、风控合规、客户洞察等场景中，并计划在未来继续探索图技术在智能运维（AIOps）、网络安全等更多的业务领域的应用。

![NebulaGraph用户_五矿集团_期货行业在图数据库的应用实践探索](https://www-cdn.nebula-graph.com.cn/nebula-website-5.0/images/blogs/NUC2022/overview/image1.png)

**另一位最佳实践专场的知名企业用户，中国移动算法工程师汪海涛也在现场分享了 NebulaGraph 图数据库在中国移动金融风控领域的应用**。对于拥有海量数据的国内三大运营商之一，一套高性能的图数据库和图计算框架对中国移动的业务推动至关重要，而选择 NebulaGraph 正是出于产品性能以及国产化支持性的考虑。目前，中国移动已基于 NebulaGraph 建立了​​关联风险打分模型和风险号码“染灰”算法，对贷款申请人欺诈风险预测效果显著，并计划在未来将图数据库应用在数据血缘治理和图神经网络集群训练中。

![NebulaGraph用户_中国移动_反欺诈算法分享](https://www-cdn.nebula-graph.com.cn/nebula-website-5.0/images/blogs/NUC2022/overview/image4.png)

# 生态伙伴展示

为了推动图数据技术在产业链上下游企业的快速落地，NebulaGraph 于 [今年发起了同路人计划](https://www.nebula-graph.com.cn/posts/new-anchievements-gotten-by-partner-program)，本次 NUC 大会也邀请了来自多个行业的生态伙伴前来分享。

**在[长沙银行图计算平台项](https://www.nebula-graph.com.cn/posts/nebulagraph-won-changsha-bank-bid)目中与 NebulaGraph 深入合作的生态伙伴，同盾科技的技术负责人何免在 NUC 现场介绍了最新方案的介绍以及与  NebulaGraph 深度集成的合作优势**。同盾基于图技术底座搭建的知识图谱平台，定位于全栈式整体解决方案，通过 AI +隐私计算双轮驱动，提供场景化决策智能服务，目前已在银行、零售信贷、信用卡风控、内控合规、车险理赔反欺诈等领域形成了专业的应用级解决方案，并在银行、保险、政府、公安、企业、互联网等多领域多场景有丰富落地经验。

![ NebulaGraph同路人_同盾科技_知识图谱平台应用](https://www-cdn.nebula-graph.com.cn/nebula-website-5.0/images/blogs/NUC2022/overview/image13.png)

**作为与 NebulaGraph 展开深度合作的云服务伙伴，国内头部云厂商代表——阿里云计算巢的技术负责人巴梨现场带来了 NebulaGraph 图数据库在阿里云计算巢上的部署实践介绍，从用户视角演示了如何通过阿里云的基础设施高效构建 NebulaGraph 云上图数据库服务**。基于阿里云计算巢的 NebulaGraph Cloud 具有企业级安全、弹性灵活、高可用和操作简易等特征，可以助力企业在云端轻松部署和使用图数据库集群。

![NebulaGraph同路人_阿里云_如何Cloud部署图数据库产品](https://www-cdn.nebula-graph.com.cn/nebula-website-5.0/images/blogs/NUC2022/overview/image2.png)

**依托于自主研发的芯片、模组、传感器、通信基站，致力于打造城市级解决方案的物联网服务提供商 Sensoro 的产品副总裁付刘伟分享了图分析在城市治理场景中的应用与落地**，通过场景演示深入浅出地讲述了物联网是如何与图技术结合实现城市综合风险评估，以前所未有的速度、体验、效率、成本迅速协助城市解决多项极端挑战和城市治理问题的。

![NebulaGraph同路人_Sensoro_抗灾预警_物联网芯片服务商](https://www-cdn.nebula-graph.com.cn/nebula-website-5.0/images/blogs/NUC2022/overview/image5.png)

![NebulaGraph同路人_Sensoro_城市芯片传感器与数据网络](https://www-cdn.nebula-graph.com.cn/nebula-website-5.0/images/blogs/NUC2022/overview/image15.png)

**最后，图数据可视化产品 Graph XR 的资深可视化方案工程师李选贤为我们带来了基于 NebulaGraph 与 Graph XR 的 IT 系统可视化监管与运维方案**，现场展示了生动吸睛的 3D 化建模实战和可视化图分析操作，丰富的界面展示也为观众打开了图应用全新的想象空间。

![基于NebulaGraph与GraphXR的IT系统可视化监管与运维方案](https://www-cdn.nebula-graph.com.cn/nebula-website-5.0/images/blogs/NUC2022/overview/image7.png)

# 硬核技术分享

作为一款自主研发、安全高效的分布式图数据库产品， NebulaGraph 一向注重产品能力打造和底层技术的提升，本次 NUC 的技术实践专场也是干货满满。

**NebulaGraph 的产品总监方扬介绍了最新的产品大图和发展现状，现场分享了图数据领域实时化、平台化、多样性、全民化发展的趋势以及相应的产品规划**。作为拥有国内最大的图技术生态和开源图技术社区的公司，NebulaGraph 将持续发挥社区、伙伴、产品三边形成的飞轮效应，致力于打造世界领先的图技术公司，为更多用户提供稳定高效的互联网基础技术服务。

![NebulaGraph图数据库产品发展规划](https://www-cdn.nebula-graph.com.cn/nebula-website-5.0/images/blogs/NUC2022/overview/image8.jpg)

来自 NebulaGraph 图数据核心研发团队的工程师和产品专家也陆续分享了在**内存优化、稳定性、分布式事务方面的最佳实践以及技术思考，并现场回答了用户关注的多个问题**，帮助社区开发者、关注者、企业用户等对相关技术和功能建立深度了解。

![NebulaGraph底层存储优化](https://www-cdn.nebula-graph.com.cn/nebula-website-5.0/images/blogs/NUC2022/overview/image11.png)

本次“Graph · The Future of Big Data” 是 NebulaGraph 举办的第二届年度用户大会。在过去的几年中，图数据库的用户正从大家已有广泛认知的互联网、金融等逐渐向运营商、高端制造等行业发展，甚至新药研发、芯片制造、Web3、元宇宙等热门新兴领域也可以看到图数据技术的身影，越来越多的用户和企业伙伴正在加入 NebulaGraph 同行者的队伍，共同走向数字化时代大数据产业链的未来。

**本次的 NebulaGraph 年度用户大会虽然已经告一段落，但精彩的分享不会止步于此**。后续，我们将通过官方账号陆续分享本次 NUC 嘉宾分享的内容集锦，欢迎关注 NebulaGraph 的[官网](https://www.nebula-graph.com.cn/posts)、公众号和 [B 站](https://space.bilibili.com/472621355)，第一时间掌握来自 NebulaGraph 图技术世界的新鲜资讯和实践案例～


**现场分享内容将在以下渠道持续更新，点赞👍收藏➕不迷路**——

* NUC 2022｜干货内容分享：官网 [博客](https://www.nebula-graph.com.cn/tags/NUC2022)

* NUC 2022｜嘉宾现场视频：B站 [专栏](https://space.bilibili.com/472621355/channel/seriesdetail?sid=2721519)





开源分布式图数据库 NebulaGraph 主办的 2022 年度用户大会顺利落下帷幕，来自纽约大学、复旦大学、浙江大学的专家学者以及中国移动、五矿期货、阿里云、同盾科技、Sensoro、Graph XR 等知名企业的用户与生态伙伴逐一亮相，共同探讨图数据技术的未来。

NebulaGraph 图数据库用户大会圆满结束，精彩不落幕…

![InfoQ 专访｜图数据库赛道兴起，看 NebulaGraph 如何打造差异化！](https://nebula-website-cn.oss-cn-hangzhou.aliyuncs.com/nebula-website-5.0/images/blogs/infoq.jpeg)

5G、物联网、AI 等新兴技术的不断发展，不仅让数据量急剧攀升，同时也使得数据的关联变得复杂化，而传统的关系型数据库往往无法承接这些变化。相比之下，**图数据库在处理关联关系上的性能则更具有优势，也能够深挖数据之间的关联性，释放数据的潜在价值**。

为了深入了解图数据库的发展趋势与落地情况，InfoQ 记者有幸在 2022 ArchSummit 全球架构师峰会北京站上，采访了 NebulaGraph CTO 于新林老师。

<video width="100%" height="500" controls>
  <source src="https://www-cdn.nebula-graph.com.cn/nebula-website-5.0/images/blogs/20220818%E9%87%87%E8%AE%BF01.mp4" type="video/mp4">
</video>

>InfoQ：近年来，我们看到越来越多的公司开始进军图数据库领域，对于厂商自身而言，如何才能打出差异化？

于新林：在考虑差异化之前，我们首先要考虑客户需要什么，我们解决了客户哪方面的问题，然后再考虑如何做好，给客户提供更大的价值。当我们在服务好客户的时候，差异化如何体现呢？

目前来看，我们的图数据库产品 NebulaGraph 的几个关键词是：开源、分布式、OLTP+OLAP、计算存储分离、处理超大规模数据、高性能。对于杭州悦数科技有限公司来说，做好产品，服务好客户就是我们打出的差异化：NebulaGraph 稳定性好，原生分布式，并且可以支持大规模海量数据。

另外，作为一家坚持开源的图数据库厂商，我们一直保持服务好用户的初心，给客户提供更优质的服务。在前期的 PoC 阶段，我们可以跟客户一起理清他们的数据模型，帮助客户写一些数据上的语句，让他们更好地使用图数据库。上线以后，我们会快速地响应客户的问题以及持续地给客户提供升级、运维的一整套服务。

>InfoQ：对于企业而言，又该如何结合自身业务选择最适合自己的图数据库产品？或者说，选择一款图数据库需要从哪几个维度去考虑？

于新林：我感觉企业要想选图数据库主要从以下几个方面出发：

首先，要看业务的场景，如果你的业务是偏线上实时交易的，那就需要选择 OLTP 能力比较强的图数据库，如果你的场景是偏图计算和分析的，可能要选一款偏 OLAP 的，亦或者两种场景都需要，那就选择混合的；

其次，要考虑图数据库的稳定性，如果不稳，其实业务都是无法开展的。另外就是性能因素，这款图数据库产品的并发情况、响应时间等等；此外，由于图数据库中有大量数据是从外部导入的，因此，也需要考虑海量数据的导入性能和时间是否满足业务需求。最后，当我们选择图数据库厂商时，也需要考虑服务持久化的问题。

>InfoQ：据 Gartner 预言，图数据库很快约占到数据库领域 10％ 市场。从您的观察来看，图技术的落地情况达到了怎样的阶段？

于新林：图技术是一个快速发展的方向，是否占 10% 我没法准确感受。我能感受到的是：起风了。从目前市场来看，客户对图相关接受度越来越高，购买、使用图数据库的客户越来越多，这基于两个方面：一方面得益于技术的成熟，另一方面是客户的认知和对图的需求逐渐攀升。图技术相关领域其实蛮广泛的，图计算、分析、存储、渲染、展示、图+AI 以及各种各样基于图的业务应用，如社交、防疫、供应链、知识图谱等。我们最近也发布了几个联合方案：金融反欺诈、智能投研平台、智能运维，通过这些方案，让我们能更好地配合合作伙伴的业务，推动生态的健康发展。

>InfoQ：与传统关系型数据库相比，图数据库虽然可以从海量数据中挖掘数据的关联，但据了解，目前市面上的图数据库产品还很难满足快速实时导入数据。能否请您介绍下，目前图数据还存在哪些局限性？

于新林：从我们目前接触客户来看，客户对快速实时导入确实是刚需，我们这方面能力相对还好，目前感觉不是瓶颈。我现在一个基本的感受是：图技术，相对于关系型数据库来说属于新兴技术，可能对于很多国内用户来说对还比较陌生，但其实这项技术在海外已经盛行了几十年，包括 NASA、ebay、airbnb 在内的大小企业都在使用图数据库来解决通信、 互联网、电子商务、社交网络和物联网等场景下的数据问题。近几年，图数据技术在国内也逐渐开始火热，NebulaGraph 也逐渐被腾讯、美团、京东、360数科、微众银行、小红书、知乎、快手、BOSS直聘等许多知名企业采用。

虽然现在国内图数据库行业还不够成熟，标准也不完全统一，但同时我们也欣喜地看到国内互联网大厂、以及像 NebulaGraph 这样的专业厂商，正在努力构建一个成熟完善、用户友好的生态。相信假以时日，我们能够让更多用户低门槛地使用各种图探索工具，感受图算法的快捷高效、更生动地感受到“图”数据的直观性和处理关联数据的强大能力。

>InfoQ：面对行业的痛点问题，NebulaGraph 做了哪些迭代和优化？

于新林：客户目前的一些痛点问题主要还是在稳定性、性能、大数据、高可用、实效性以及数据导入性能等。针对这些痛点，我们通过产品的一个个迭代和版本逐步解决。

举例来讲，为了解决稳定性问题，我们加大了测试的投入，包括功能测试、长期稳定测试、极限压力测试、混沌测试等等；为了解决高可用问题，我们做了很多功能，包括快速扩缩容、数据 balance、备份恢复、集群间复制等等。通过一次次迭代和优化，能在最短时间内解决客户的痛点问题，也尽快建立起和客户之间的信任关系，客户会更放心的使用我们的产品。

>InfoQ：在 NebulaGraph 数据库支持下，已经解决了哪些企业的问题，能否分享几个成功的案例？

于新林：在官网 [https://www.nebula-graph.com.cn/](https://www.nebula-graph.com.cn/) 上有很多这样的案例，这些都是客户贡献的案例说明，比较客观一些。我分享两个：我们有家客户是偏政府的，他们最大的特点就是数据量特别大，而且数据量在持续地增长，点在千亿级别、边在万亿级别，他们的数据需要定期导入。最大的诉求是分布式、支持海量数据、快速响应时间以及很高的导入速度。刚好我们的产品能比较好地满足他们的需求，所以两边能很快地配合进行 PoC、验证、上线，现在已经持续稳定跑了很久。

另一个是微众银行在数据血缘方案中，引入了 NebulaGraph 作为大数据平台的图数据基础。主要看中了快速导入大规模数据、低时延的实时计算，可以很好地帮助微众银行生成一份数据地图，以快速发现数据问题、定位和分析以及解决问题，帮助业务开展。

>InfoQ：在 2021 年 AS 的专访中，您提到了 NebulaGraph 接下来的三个计划，分别是 NebulaGraph 上云，加大对 AP 领域的投入，以及把图的计算和图的分析以 SaaS 化的服务形式搬上云。想了解下，目前的进展如何，是否有达到团队的预期？

于新林：目前相关工作在持续开展，NebulaGraph 上云这部分是开展比较快的一部分。目前我们已经和多家云厂商在紧密的合作，包括 Azure、阿里云、AWS、Gcp、华为云等等。目前产品已经在部分云厂商上线了，国内在阿里云已经上线，大家可以免费试用。

AP 领域也在有序推进，相对进展没有这么快，当前主要把 AP 和 TP 产品做了整合，主要解决了客户易用性问题，让客户更加方便地使用图数据库和图计算的能力。SaaS 是我们未来要做的事，但目前还不是重点，现阶段我们还是会更关注底层数据库的性能和最佳用户体验。还是要集中优势兵力把当前这个产品打磨好，本身这些产品也是为将来 SaaS 服务的一个根基，可能会到明年左右开始发力 SaaS 服务。当然了，考虑到终端用户的实际使用需求，NebulaGraph 也正在与一些 ISV 和 SI 企业积极合作，这些生态伙伴中不乏有多年垂直领域行业经验的解决方案提供商，通过提供图数据库底座能力给到他们来实现面向用户的方案，便于终端用户部署落地。

>InfoQ：谢谢于老师接受采访，也期待 NebulaGraph 在接下来有更大的突破。

---

交流图数据库技术？加入 NebulaGraph 交流群[请先填写下你的 NebulaGraph 名片](https://wj.qq.com/s2/8321168/8e2f)，NebulaGraph 小助手会拉你进群~~




本文主要涉及了图数据库图 NebulaGraph CTO 参与 ArchSummit 期间的采访内容，包括图技术的整体发展趋势、图数据库选型时的考量点等

InfoQ 专访｜图数据库赛道兴起，看 NebulaGraph 如何打造差异化！


![Sigmod-2022](https://nebula-website-cn.oss-cn-hangzhou.aliyuncs.com/nebula-blog/sigmod_.jpg)

今年 SIGMOD'22 在费城 Philadelphia 举办，我有幸代表公司作为资助商参加。此次参会，我和学生、教授、厂商多有交流，一方面宣传了我们的产品，另一方面也获取了许多宝贵的建议和意见。接下来，我将分享其中一些建议，以及我整体的思考。

# 图学习和存储技术广受关注

首先是行业新趋势，**本次会议大家关注的热点主要有两个。第一，机器学习的比重进一步增加，尤其 图学习（graph learning） 可能成为新的热点**。近年来，越来越多的系统领域的会议会专门开设机器学习的专区，主要是运用一些机器学习的方法来优化系统或者算法。其中，有一个方向最近异军突起，就是图学习。简单来说，图学习就是在图上的机器学习。和其他用机器学习解决实际问题类似，图学习通过 embedding 的方式，从 graph 中提取出特征向量（feature vector），然后**用机器学习的方法解决图中那些困难的问题，包括分类、子图匹配、链接预测（classfication，subgraph matching，link prediction）等**。

从会议的倾向和 NSF (National Science Foundation) 的指导来看，这个趋势还会持续火热。我们也收到很多学生和教授关于是否支持图学习的询问。从图数据库供应商角度出发，图学习是 NebulaGraph 的应用之一。我们不能仅仅满足于提供图数据库核心，还得为上层应用提供库、接口，甚至优化，来保证上层应用的顺利高效运行。从另一个角度出发，如果我们的 NebulaGraph 可以帮助学界在一些领域，比如在图学习方面有一些突破，对我们公司，对全行业发展也是大有裨益的。

![Sigmod-2022-live](https://nebula-website-cn.oss-cn-hangzhou.aliyuncs.com/nebula-blog/Sigmod.png)

**除了机器学习，我认为另一个热点趋势就是内存，包括 in-memory database, Persistent memory 等**。目前非易失性存储（non volatile memory），或者叫持久性存储（persistent memory），经过学术界和工业界十多年的共同努力已经越来越成熟。目前针对如何使用持久性存储的研究也是非常火热，几乎所有系统的顶会都有大量相关的文章。

**具体到数据库领域，就包括如何设计内存数据库（in-memory database）、如何将持久性存储（persistent memory） 和 SSD、DRAM 等混合使用，如何解决内存隔离（memory segregation）的问题**。NebulaGraph 作为图数据库供应商，也应该积极拥抱新硬件带来的改变，积极探索基于 persistent memory 的存储系统。

# 图的优势与发展方向

除了新趋势，我在会议中**最大的收获和思考是关于图数据库（GDBMS）和关系型数据库（RDMBS）的比较**。会上有不少人表达为什么不基于 关系型数据库来实现 graph datababse 的疑虑。因为关系型数据库经过多年优化，确实已经武装到了牙齿。比如 Peter Boncz 教授（LDBC创始人之一）在今年早些时候在 EDBT / ICDT 会议上做了个主题演讲——《The (Sorry) State of Graph Database Systems 》[1]，提出当前 GDBMS 跟 RDMBS 相比，在计算和存储层都还有很多地方需要提高，尤其是针对子图匹配（subgraph matching） 这样的 AP 查询。他提出了针对子图匹配场景的性能基准测试（Benchmark）。在他的实验环境下，没有一款图数据库软件在「子图匹配」场景上的性能能够接近 Hyper 和 Umbra 这两款关系型数据库（见下面图1）.

![Graph-Database-performance](https://nebula-website-cn.oss-cn-hangzhou.aliyuncs.com/nebula-blog/Graph%20data%20performance.png)

这个实验的设置固然有值得探讨的地方，但 Peter 作为 LDBC 的创始人，他的核心目的自然不是贬低图数据库，只是想借用子图匹配——这个图数据库优化得还不够好的一种查询场景，来鼓励各个图数据库厂商提升自己的产品。

从更广的图景来看，我们 **NebulaGraph** 作为图数据库厂商，**必须把握图数据库和关系型数据库的区别和优势：一是图查询**，尤其是 GQL 相对于 SQL 的易用性和高效性。**二是易用性**，Neo4J 的 CEO，Emil Eifrem 有个非常好的例子[3]：对于一个 AP 系统非常常见的查询，如果使用 SQL 需要 23 个 SELECT，21 个 WHERE，11 个 JOIN，9 个 UNION，最后形成一个巨长无比的查询语句（query）。但如果使用图相关语句，只需要一个 MATCH 和一个 WHERE。对于使用 SQL，很有可能是无法完成工作或者极易出错，而对于后者使用图相关语句，则可以省下无数人力物力。

**关于性能**，除了在关联关系查询中，**图数据库相较于关系型数据库的天然优势，还需要在其他图相关的各种查询上（不止于上文提到的子图匹配 subraph matching）取得对于关系型数据库的优势**。这其实也是 Peter 提出子图查询这个检测基准对于我们的核心启示。

# 对底层存储结构的思考

![NebulaGraph-at-Sigmod](https://nebula-website-cn.oss-cn-hangzhou.aliyuncs.com/nebula-blog/NebulaGraph-at-Sigmod.png)

最后我们也获得了不少关于底层存储的建议。NebulaGraph 目前底层存储使用的是基于 LSM Tree 的 RocksDB。但 LSM Tree 是否适用于图数据库的 workload，尤其是上云后，是否是性能最好、成本最低的选择，一直是有争议的。可能的替代者有：

- Bε-tree File System，betrFS: https://www.betrfs.org/

- LiveGraph：https://marcoserafini.github.io/papers/LiveGraph.pdf

- B+ Tree: 在这方面，后续我们也会持续跟进研究

总之，这次 SIGMOD’22 之旅收获了许多。期待明年的 SIGMOD。西雅图见！

[1]https://conferences.inf.ed.ac.uk/edbticdt2022/?contents=invited_talks.html

[2]https://docs.google.com/presentation/d/1xUbooiL8rIMzkp9G9EXmN4tIMMWt2mC53Q0u4mslq5g/edit#slide=id.ge0f13c0edc_0_47

[3] https://people.eecs.berkeley.edu/~istoica/classes/cs294/15/notes/21-neo4j.pdf

---

交流图数据库技术？加入 Nebula 交流群请先[填写下你的 Nebula 名片](https://wj.qq.com/s2/8321168/8e2f/)，Nebula 小助手会拉你进群~~

![关注公众号](https://www-cdn.nebula-graph.com.cn/nebula-blog/WeChatOffical.png)


本文来自 NebulaGraph 的软件工程师——文豪（明尼苏达大学计算机 PhD）在美国费城参加 2022 年 SIGMOD 大会时的见闻。SIGMOD 是数据库领域的顶级会议之一，是 CCF 数据库 / 数据挖掘 / 内容检索领域 A 类会议。 NebulaGraph 作为国内唯一的开源图数据库厂商参加，并以展商身份在会上发表了《NebulaGraph: a next-generation of hyperscale graph database》演讲。

NebulaGraph 软件工程师｜全球顶级数据库大会 SIGMOD 参会感想


![Nebula Importer 数据导入实践](https://www-cdn.nebula-graph.com.cn/nebula-blog/import-data-with-nebula-importer.jpg)

## 前言

Nebula 目前作为较为成熟的产品，已经有着很丰富的生态。数据导入的维度而言就已经提供了多种选择。有大而全的[Nebula Exchange](https://docs.nebula-graph.com.cn/3.1.0/nebula-exchange/about-exchange/ex-ug-what-is-exchange/)，小而精简的[Nebula Importer](https://docs.nebula-graph.com.cn/3.1.0/nebula-importer/use-importer/), 还有为 Spark / Flink 引擎提供的[Nebula Spark Connector](https://docs.nebula-graph.com.cn/3.1.0/nebula-spark-connector/) 和 [Nebula Flink Connector](https://docs.nebula-graph.com.cn/3.1.0/nebula-flink-connector/)。

在众多的导入方式中，究竟哪种较为方便呢？

使用场景介绍：

- Nebula Exchange
  - 需要将来自 Kafka、Pulsar 平台的流式数据, 导入 NebulaGraph 数据库
  - 需要从关系型数据库（如 MySQL）或者分布式文件系统（如 HDFS）中读取批式数据
  - 需要将大批量数据生成 NebulaGraph 能识别的 SST 文件
- Nebula Importer
  - Importer 适用于将本地 CSV 文件的内容导入至 NebulaGraph 中
- Nebula Spark Connector:
  - 在不同的 NebulaGraph 集群之间迁移数据
  - 在同一个 NebulaGraph 集群内不同图空间之间迁移数据
  - NebulaGraph 与其他数据源之间迁移数据
  - 结合 Nebula Algorithm 进行图计算
- Nebula Flink Connector
  - 在不同的 NebulaGraph 集群之间迁移数据
  - 在同一个 NebulaGraph 集群内不同图空间之间迁移数据
  - NebulaGraph 与其他数据源之间迁移数据

以上摘自 Nebula 官方文档：[https://docs.nebula-graph.com.cn/2.6.2/1.introduction/1.what-is-nebula-graph/](https://docs.nebula-graph.com.cn/2.6.2/1.introduction/1.what-is-nebula-graph/)

总体来说，Exchange 大而全，可以和大部分的存储引擎结合，导入到 Nebula 中，但是需要部署Spark 环境。

![Nebula Importer 数据导入实践](https://www-cdn.nebula-graph.com.cn/nebula-blog/import-data-with-nebula-importer-01.png)

Importer 使用简单，所需依赖较少，但需要自己提前生成数据文件，配置好 schema 一劳永逸，但是不支持断点续传，适合数据量中等。

Spark / Flink Connector 需要和流数据结合。

**不同的场景选择不同的工具，如果作为新人使用 Nebula 在导入数据时，建议使用 Nebula Importer 工具，简单快速上手**。

## Nebula Importer 的使用

在我们接触 NebulaGraph 初期，当时生态不够完善, 加上只有部分业务迁移到 NebulaGraph 上，我们对 NebulaGraph 数据的导入不管全量还是增量都是采用 Hive 表推到 Kafka，消费 Kafka 批量写入 NebulaGraph 的方式。后来随着越来越多的数据和业务切换到 NebulaGraph，导入的数据效率问题愈发严峻，导入时长的增加，使得业务高峰期时仍然在全量的数据导入，这是不可接受的。

针对以上问题，在尝试 Nebula Spark Connector 和 Nebula Importer 之后，由便于维护和迁移多方面考虑，采用 `Hive table -> CSV -> Nebula Server -> Nebula Importer` 的方式进行全量的导入，整体耗时时长也有较大的提升。

### Nebula Importor 的相关配置

#### 系统环境

```shell
[root@nebula-server-prod-05 importer]# lscpu
Architecture:          x86_64
CPU op-mode(s):        32-bit, 64-bit
Byte Order:            Little Endian
CPU(s):                16
On-line CPU(s) list:   0-15
Thread(s) per core:    2
Core(s) per socket:    8
Socket(s):             1
NUMA node(s):          1
Vendor ID:             GenuineIntel
CPU family:            6
Model:                 85
Model name:            Intel(R) Xeon(R) Platinum 8269CY CPU @ 2.50GHz
Stepping:              7
CPU MHz:               2499.998
BogoMIPS:              4999.99
Hypervisor vendor:     KVM
Virtualization type:   full
L1d cache:             32K
L1i cache:             32K
L2 cache:              1024K
L3 cache:              36608K
NUMA node0 CPU(s):     0-15

Disk：SSD
Memory: 128G
```

#### 集群环境

- Nebula Version：v2.6.1
- 部署方式：RPM
- 集群规模：三副本，六节点

#### 数据规模
```shell
+---------+--------------------------+-----------+
| "Space" | "vertices"               | 559191827 |
+---------+--------------------------+-----------+
| "Space" | "edges"                  | 722490436 |
+---------+--------------------------+-----------+
```

#### Importer 配置

```shell
# Graph版本，连接2.x时设置为v2。
version: v2

description: Relation Space import data

# 是否删除临时生成的日志和错误数据文件。
removeTempFiles: false

clientSettings:

  # nGQL语句执行失败的重试次数。
  retry: 3

  # NebulaGraph客户端并发数。
  concurrency: 5

  # 每个NebulaGraph客户端的缓存队列大小。
  channelBufferSize: 1024

  # 指定数据要导入的NebulaGraph图空间。
  space: Relation

  # 连接信息。
  connection:
    user: root
    password: ******
    address: 10.0.XXX.XXX:9669,10.0.XXX.XXX:9669

  postStart:
    # 配置连接NebulaGraph服务器之后，在插入数据之前执行的一些操作。
    commands: |

    # 执行上述命令后到执行插入数据命令之间的间隔。
    afterPeriod: 1s

  preStop:
    # 配置断开NebulaGraph服务器连接之前执行的一些操作。
    commands: |

# 错误等日志信息输出的文件路径。    
logPath: /mnt/csv_file/prod_relation/err/test.log
....
```

由于篇幅 只展示些全局相关的配置，点边相关的配置较多，不再展开，详情可以参考[GitHub](https://github.com/vesoft-inc/nebula-importer)。

设置 Crontab，Hive 生成表之后传输到 Nebula Server，在夜间流量较低的时候跑起 Nebula Importer 任务：

```shell
50 03 15 * * /mnt/csv_file/importer/nebula-importer -config /mnt/csv_file/importer/rel.yaml >> /root/rel.log
```
总共耗时 2h，在六点左右完成全量数据的导入。

部分 log 如下，导入速度最高维持在 **200,000/s** 左右：

```shell
2022/05/15 03:50:11 [INFO] statsmgr.go:62: Tick: Time(10.00s), Finished(1952500), Failed(0), Read Failed(0), Latency AVG(4232us), Batches Req AVG(4582us), Rows AVG(195248.59/s)
2022/05/15 03:50:16 [INFO] statsmgr.go:62: Tick: Time(15.00s), Finished(2925600), Failed(0), Read Failed(0), Latency AVG(4421us), Batches Req AVG(4761us), Rows AVG(195039.12/s)
2022/05/15 03:50:21 [INFO] statsmgr.go:62: Tick: Time(20.00s), Finished(3927400), Failed(0), Read Failed(0), Latency AVG(4486us), Batches Req AVG(4818us), Rows AVG(196367.10/s)
2022/05/15 03:50:26 [INFO] statsmgr.go:62: Tick: Time(25.00s), Finished(5140500), Failed(0), Read Failed(0), Latency AVG(4327us), Batches Req AVG(4653us), Rows AVG(205619.44/s)
2022/05/15 03:50:31 [INFO] statsmgr.go:62: Tick: Time(30.00s), Finished(6080800), Failed(0), Read Failed(0), Latency AVG(4431us), Batches Req AVG(4755us), Rows AVG(202693.39/s)
2022/05/15 03:50:36 [INFO] statsmgr.go:62: Tick: Time(35.00s), Finished(7087200), Failed(0), Read Failed(0), Latency AVG(4461us), Batches Req AVG(4784us), Rows AVG(202489.00/s)
```

然后在七点，根据时间戳，重新消费 Kafka 导入当天凌晨到七点的增量数据, 防止 T+1 的全量数据覆盖当天的增量数据。

```shell
50 07 15 * * python3  /mnt/code/consumer_by_time/relation_consumer_by_timestamp.py
```

增量的消费大概耗时 10-15min。

### 实时性

根据 MD5 对比之后得到的增量数据，导入Kafka中，实时消费 Kafka 的数据，确保数据的延迟不超过 1 分钟。

另外长时间的实时可能会有非预期的数据问题出现而未发现，所以每 30 天会导入一次全量数据，上面介绍的 Importer 导入。然后给 Space 的点边添加 TTL=35 天确保未及时更新的数据会被 Filter 和后续回收。

### 一些注意点

论坛帖子 [https://discuss.nebula-graph.com.cn/t/topic/361](https://discuss.nebula-graph.com.cn/t/topic/361) 这里提到了关于 CSV 导入常遇到的问题，大家可以参考下。另外根据经验这边有几点建议：
1. 关于并发度，问题中有提到，这个 concurrency 指定为你的 cpu cores 就可以, 表示起多少个 client 连接 Nebula Server。 实际操作中，要去 trade off 导入速度和服务器压力的影响。在我们这边测试，如果并发过高，会导致磁盘 IO 过高，引发设置的一些告警，不建议一下把并发拉太高，可以根据实际业务测试下做权衡。
2. Importer 并不能断点续传，如果出现错误，需要手动处理。在实际操作中，我们会程序分析 Importer 的 log，根据情况处理，如果哪部分数据出现了非预期的错误，会告警通知，人工介入，防止出现意外。
3. Hive 生成表之后传输到 Nebula Server， 这部分任务 实际耗时是和 Hadoop 资源情况密切相关的，有可能会出现资源不够导致 Hive 和 CSV 表生成时间滞缓，而 Importer 正常在跑的情况，这部分需要提前做好预判。我们这边是根据hive任务结束时间和 Importer 任务开始时间做对比，判断是否需要 Importer 的进程正常运行。

---

交流图数据库技术？加入 Nebula 交流群请先[填写下你的 Nebula 名片](https://wj.qq.com/s2/8321168/8e2f/)，Nebula 小助手会拉你进群~~

数据量大用 Nebula Exchange，数据量小用 Nebula Importer。而企查查是如何使用数据导入工具 Nebula Importer 来实现他们的数据同步的呢？本文详细带你了解。

Nebula Importer 数据导入实践


![macOS 安装 NebulaGraph 看这篇就够了](https://www-cdn.nebula-graph.com.cn/nebula-blog/build-nebula-graph-under-macOS.png)

# 背景

刚学习图数据的内容，当前网上充斥大量的安装文档，参差不齐，部署起来令人十分头疼。

现整理一份比较完整的安装文档，供大家学习参考，本文示例所用 MacBook 采用了 Intel 芯片。

# 版本

* macOS	12.0.1
* Docker 20.10.14
* NebulaGraph v3.X（20220415-master 分支）
* Nebula Studio	v3.2.2
* Nebula Console v3.0.0（20220415-master 分支）

注：以上软件版本为 20220415 最新版本

# 安装教程

以下内容亲测可用。

## 1. Docker 安装

### 1.1 下载网站

相关地址：[Install Docker Desktop on Mac | Docker Documentation](https://docs.docker.com/desktop/mac/install/)

![macOS 安装 NebulaGraph 看这篇就够了](https://www-cdn.nebula-graph.com.cn/nebula-blog/build-nebula-graph-under-macOS-1.png)

![macOS 安装 NebulaGraph 看这篇就够了](https://www-cdn.nebula-graph.com.cn/nebula-blog/build-nebula-graph-under-macOS-2.png)

![macOS 安装 NebulaGraph 看这篇就够了](https://www-cdn.nebula-graph.com.cn/nebula-blog/build-nebula-graph-under-macOS-3.png)
 
### 1.2 配置 Docker 加速

```
"registry-mirrors": [
    "https://hub-mirror.c.163.com/",
    "https://reg-mirror.qiniu.com",
    "https://docker.mirrors.ustc.edu.cn/",
    "https://wh9z3wm8.mirror.aliyuncs.com"
  ]
```

![macOS 安装 NebulaGraph 看这篇就够了](https://www-cdn.nebula-graph.com.cn/nebula-blog/build-nebula-graph-under-macOS-5.png)

## 2. Docker 网络配置

```
docker network create nebula-net
```
![macOS 安装 NebulaGraph 看这篇就够了](https://www-cdn.nebula-graph.com.cn/nebula-blog/build-nebula-graph-under-macOS-4.png)

注：此处旨在让 NebulaGraph 与 Nebula Studio 的 Docker 服务处于处于相同网段（可不配置）

## 3. NebulaGraph安装

### 3.1 Git 克隆 nebula-docker-compose 仓库

```
git clone -b master https://github.com/vesoft-inc/nebula-docker-compose.git
```

![macOS 安装 NebulaGraph 看这篇就够了](https://www-cdn.nebula-graph.com.cn/nebula-blog/build-nebula-graph-under-macOS-7.png)

![macOS 安装 NebulaGraph 看这篇就够了](https://www-cdn.nebula-graph.com.cn/nebula-blog/build-nebula-graph-under-macOS-6.png)

### 3.2 修改 docker-compose.yaml

全局替换网络为 `nebula-net`，增加`external: true`

```
:%s/xxx/nebula-net/g
```

![macOS 安装 NebulaGraph 看这篇就够了](https://www-cdn.nebula-graph.com.cn/nebula-blog/build-nebula-graph-under-macOS-10.png)

### 3.3 docker-compose 部署 Nebula 

```
docker-compose up -d
```

![macOS 安装 NebulaGraph 看这篇就够了](https://www-cdn.nebula-graph.com.cn/nebula-blog/build-nebula-graph-under-macOS-8.png)

## 4. Nebula Studio安装

### 4.1 下载 Nebula Studio 部署配置文件

```
wget  https://oss-cdn.nebula-graph.com.cn/nebula-graph-studio/3.2.2/nebula-graph-studio-v3.2.2.tar.gz
```

### 4.2 创建 nebula-graph-studio-v3.2.2 目录，并将安装包解压至目录中

```
mkdir nebula-graph-studio-v3.2.2 && tar -zxvf nebula-graph-studio-v3.2.2.tar.gz -C nebula-graph-studio-v3.2.2
```

![macOS 安装 NebulaGraph 看这篇就够了](https://www-cdn.nebula-graph.com.cn/nebula-blog/build-nebula-graph-under-macOS-15.png)

![macOS 安装 NebulaGraph 看这篇就够了](https://www-cdn.nebula-graph.com.cn/nebula-blog/build-nebula-graph-under-macOS-11.png)

### 4.3 修改 docker-compose.yaml  

将原有 `nebula-web` 全局替换网络为 `nebula-net`，增加 `external: true`

```
:%s/nebula-web/nebula-net/g
```

![macOS 安装 NebulaGraph 看这篇就够了](https://www-cdn.nebula-graph.com.cn/nebula-blog/build-nebula-graph-under-macOS-13.png)

### 4.4 构建并启动 Nebula Studio 服务  

```
docker-compose up -d
```

![macOS 安装 NebulaGraph 看这篇就够了](https://www-cdn.nebula-graph.com.cn/nebula-blog/build-nebula-graph-under-macOS-16.png)

### 4.5 访问（推荐）

登录 Nebula Studio 后台（http://127.0.0.1:7001/）

配置 Nebula 数据库信息，Host：nebula 的 IP 地址：9669，默认用户名和密码为：root/nebula。

本例**由于 NebulaGraph 与 Nebula Studio 在同一个网段**，可以使用 `Host:graphd:9669`：

![macOS 安装 NebulaGraph 看这篇就够了](https://www-cdn.nebula-graph.com.cn/nebula-blog/build-nebula-graph-under-macOS-12.png)

即可登入 

# 5. Nebula Console 安装 & 访问

## 5.1 二进制文件方式（推荐）

下载链接：[https://github.com/vesoft-inc/nebula-console/releases](https://github.com/vesoft-inc/nebula-console/releases)

macOS 下载第一个

![macOS 安装 NebulaGraph 看这篇就够了](https://www-cdn.nebula-graph.com.cn/nebula-blog/build-nebula-graph-under-macOS-17.png)

下载文件后，更改名字为 nebula-console，该文件为二进制文件，在文件所在目录，执行命令，即可进入终端页面。

```
chmod 777 nebula-console

./nebula-console -addr=127.0.0.1  -port 9669 -u root -p nebula
```

![macOS 安装 NebulaGraph 看这篇就够了](https://www-cdn.nebula-graph.com.cn/nebula-blog/build-nebula-graph-under-macOS-20.png)

### 5.2 Docker 安装

```
docker run --rm -ti --network nebula-net --entrypoint=/bin/sh vesoft/nebula-console:v2-nightly
```

![macOS 安装 NebulaGraph 看这篇就够了](https://www-cdn.nebula-graph.com.cn/nebula-blog/build-nebula-graph-under-macOS-18.png)

```
nebula-console -u root -p nebula --port 9669 --address graphd
```

![macOS 安装 NebulaGraph 看这篇就够了](https://www-cdn.nebula-graph.com.cn/nebula-blog/build-nebula-graph-under-macOS-19.png)


### 5.3 源码安装

```
git clone https://github.com/vesoft-inc/nebula-console
```

![macOS 安装 NebulaGraph 看这篇就够了](https://www-cdn.nebula-graph.com.cn/nebula-blog/build-nebula-graph-under-macOS-21.png)

```
cd nebula-console

make

go get -u golang.org/x/sys

make

./nebula-console -addr=127.0.0.1  -port 9669 -u root -p nebula
```

![macOS 安装 NebulaGraph 看这篇就够了](https://www-cdn.nebula-graph.com.cn/nebula-blog/build-nebula-graph-under-macOS-22.png)

注：源码安装需要具有 Golang 环境，当前 GO 环境版本为 go1.18.1。

过程中有报错就下载一下 `golang.org/x/sys`（`go get -u golang.org/x/sys`），完事继续 make 就可以。

生成的 nebula-console 二进制文件与方式一基本一致，直接运行命令即可连接

# 6. 结果展示

## 6.1 Docker 服务状态

```
docker ps
```

![macOS 安装 NebulaGraph 看这篇就够了](https://www-cdn.nebula-graph.com.cn/nebula-blog/build-nebula-graph-under-macOS-23.png)

![macOS 安装 NebulaGraph 看这篇就够了](https://www-cdn.nebula-graph.com.cn/nebula-blog/build-nebula-graph-under-macOS-9.png)

### 6.2 Nebula Studio 服务访问

![macOS 安装 NebulaGraph 看这篇就够了](https://www-cdn.nebula-graph.com.cn/nebula-blog/build-nebula-graph-under-macOS-12.png)

![macOS 安装 NebulaGraph 看这篇就够了](https://www-cdn.nebula-graph.com.cn/nebula-blog/build-nebula-graph-under-macOS-14.png)

# 结语

>   原创文章，谢谢大家的支持，希望这篇文章在安装 NebulaGraph 中给大家更好体验。

**～(￣▽￣～)(～￣▽￣)～**

> 本文正在参加[首届 Nebula 征文活动](https://discuss.nebula-graph.com.cn/t/topic/8304)，如果你觉得本文对你有所帮助可以给我点个 ❤️ 以示鼓励~ 谢谢

---

交流图数据库技术？加入 Nebula 交流群请先[填写下你的 Nebula 名片](https://wj.qq.com/s2/8321168/8e2f/)，Nebula 小助手会拉你进群~~

![关注公众号](https://www-cdn.nebula-graph.com.cn/nebula-blog/WeChatOffical.png)


一直以来社区用户非常关心 macOS 如何安装 NebulaGraph，虽然 B 站有相关视频，但这次我们搞点“无脑”部署，保姆级 cv 教程带你快速在 macOS 下部署 NebulaGraph~。

macOS 安装 NebulaGraph 看这篇就够了


“本文系 DTCC（中国数据库技术大会）对演讲嘉宾——Dr.min.wu 的专访，吴敏博士的演讲稿参见推文[《开源分布式图数据库的思考和实践》](![从小众到火爆，图数据库能为我们解决什么问题？](https://www-cdn.nebula-graph.com.cn/nebula-blog/scenarios.png)
)，文章首发于 ITPUB 公众号

![从小众到火爆，图数据库能为我们解决什么问题？](https://www-cdn.nebula-graph.com.cn/nebula-blog/scenarios.png)

电信诈骗越来越猖狂，与诈骗犯斗智斗勇进行反欺诈，疫情流调，在人潮人海中快速找到密接人员……这背后很可能都有数据库当红炸子鸡图数据库的技术支撑。

什么是图数据库？图数据库能解决什么问题？是否图数据库要替代关系型数据库？在日前DTCC2021中国数据库技术大会上，IT168&ITPUB采访了开源分布式图数据库厂商悦数科技PD & CR吴敏，就相关问题进行了探讨。 

# 图数据库领域的中国力量

![从小众到火爆，图数据库能为我们解决什么问题？](https://www-cdn.nebula-graph.com.cn/nebula-blog/scenarios-01.webp)

从上图DB-Engines数据库流行度变化可以看到，图数据库一枝独秀成为近10年来关注度增长最快的数据库，也吸引了投资者的青睐，目前为止数据库领域最大单笔融资就诞生在图数据库。从2021年8月到11月，三个月时间DB-Engines收录的图数据库产品数量从32家增加到36家，可见其火爆程度，其中有4家国产图数据库产品上榜，悦数科技NebulaGraph排名15。在图数据库领域，国内外基本处于同一起跑线。

图数据库并不是存储图像的数据库，图数据库是用点和边来表达数据之间的关系，是更自然的存储方式，更专注于对象之间的关联。悦数科技认为，数据间的关联关系将会是下一个重要的业务增长点，而快速挖掘数据背后的关联价值便是提升业务价值的关键。Gartner发布的2020年十大科技趋势预测中，关联关系被认为是一切数据分析产生价值的基础。专注于数据关联关系的图数据库成为刻画及利用数据关系最佳的基础设施，而传统的关系型数据库产品已经很难胜任这种海量复杂的分析需求，这也是图数据库能够快速发展的核心因素之一。

2018年悦数科技成立，创始团队来自于Facebook、阿里巴巴、华为等国内外各大知名公司，在图数据库、大数据等领域有丰富的开发和业务经验。公司于2019年5月正式开源发布分布式图数据库NebulaGraph AlphaV1.0版本，同年12月上线首个商业版本，并被DB-Engines收录，成为目前DB-Engines排名最高的中国图数据库产品。

吴敏介绍，NebulaGraph在立项之初，团队便定了四个目标：规模、生产、OLTP、开源生态，而这4个目标直至今日依旧影响NebulaGraph产品规划。

规模方面，考虑到未来数据库处理的数据规模会很大，摩尔定律失效，而单机情况并不能很好地应对海量数据爆发式增长，便研究分布式数据库是如何处理数据。此外，数据规模大时，图数据分析属性多，NebulaGraph采用属性图模型设计，支持上百属性。

生产方面，NebulaGraph针对生产工业级别的数据量万亿点边数据量而设计，做到工业级别可用。此外，还考虑查询语言如何设计，更好满足可视化、可编程、运维等要求。

OLTP方面，NebulaGraph初始设计目标是优先考虑TP场景，即使到今天也是一样，NebulaGraph是一个在线、高并发、低延迟的图数据库。

开源方面，NebulaGraph先有开源版本后有商业的企业版本，除了构建开源技术社区、开发者生态之外，也对接了大数据生态，以及与图计算、训练框架进行结合。

NebulaGraph之所以能够在DB-Engines排名那么靠前，在于当初设计时立足未来的长远规划，更在于实现。吴敏强调，NebulaGraph采用存储计算分离架构，计算层和存储层可以根据各自的情况弹性扩容、缩容，使水平扩展成为可能。此外，NebulaGraph具有低延时、高并发特性，整个核心代码采用C++编写，保证了执行效率。

其次，NebulaGraph做了很多并行和异步执行的优化。第三是计算下推，在分布式系统里面，硬件上网络对整体性能的影响最大，所以数据搬迁很低效。比如，1万条数据最终过滤出100条，相当于99%的网络传输浪费掉。NebulaGraph采用移动计算，将计算下推到存储层，同样在1万条数据中过滤出100条，直接在存储层做完过滤再回传计算层，速度提升100倍。此外，架构和产品特性之外，NebulaGraph作为一款开源的分布式图数据库，社区活跃度极高，问题响应速度快，也是排名靠前的一个重要因素。

开源是今年数据库发展的一个重要趋势，“在图领域，开源是一件很常见的事，反而闭源并不常见。因为图本身在过去几年是个小领域，只是最近慢慢地火起来。所以，选择开源是一个挺好的Branding，建立自己技术品牌的方式。再者，开源的方式可以吸引更多的人来用它，同更多的人交流图技术，促进彼此思考。以及，在用户使用过程中，反馈过来的使用建议能迭代、快速完善产品。”吴敏表达了他对开源的思考。
Gartner的分析师预计，到2022年，企业图形处理和图形数据库将以每年100%的速度增长，到2023年，将促进30%的组织的决策。

# 图数据库的落地与挑战

在DTCC2021中国数据库技术大会上，图数据库专场广受关注，让我们更能感受到图数据库的火爆，目前图数据库已经在很多场景有了落地。 

以NebulaGraph为例，目前NebulaGraph的用户覆盖金融、互联网、政府、制造业、物联网、人工智能、商业智能、机器学习等多个领域。2021年是NebulaGraph商业化元年，也是Nebula企业用户突破200大关的一年。

吴敏介绍，金融领域典型的场景有反欺诈、反洗钱，实时甄别高风险资金流动等。互联网的典型场景有智能助理、本地生活化推荐、威胁情报分析、反作弊、数据治理等；政府可能涉及到公安技侦、疫情防控中的密接分析等。
比如众安保险将NebulaGraph用于反欺诈社群发现场景，知乎将NebulaGraph作为反作弊工具，有效防止用户刷赞等作弊行为，快手将NebulaGraph用于安全情报平台，提供给多个业务部门使用等。

而根据今年10月IDC发布的《IDC TechBrief：图数据库》，从全球来看，图数据的使用仍处于早期阶段，市场饱和度不足5%。

毫无疑问图数据库有非常广阔的市场前景，但是当下的起步阶段，市场上也有一些质疑声音，有人指出图数据库应用场景太少，很多关系型数据库也能做，包括金融场景在内的很多场景是为了用而用。吴敏特别强调，同关系型数据库相比，图数据库有天然的优势，点边结构的数据库是天然贴近现实世界，能直观表达现实世界中的实体及其对应关联关系，这点在找寻数据关联关系的场景下尤其明显，在数据规模到达一定量级之后，查询数据的多层关联关系，关系型数据库的性能远低于图数据库，根据天然的图数据结构特点能快速返回查询结果。

“我一直没觉得图数据库的市场和关系型数据库市场有多大的重叠，也没啥竞争关系，虽然当前，取的名字都叫‘数据库’。更多场景应用在探索阶段，有些行业已经有明确用途了，有些行业下定论还有点早，也许再过两三年回头看，可以大概知道。”吴敏认为现在下结论还为时尚早。他指出，虽然，目前图数据库还存在许多挑战需要解决，比如数据的完备性、一致性，分布式事务的支持以及 OLAP 和 OLTP 融合等。但是图数据库这个领域目前为止还保持了稳定的增速，已经在一些数字化较高的行业得到了不错的渗透。从市场的角度看，在更广更深的领域取得关键系统应用是极为重要的事，这也更依赖于全行业的努力。

从使用门槛的角度看，NebulaGraph自研的图数据库查询语言nGQL是种类SQL语言，对于开发人员比较友好，极易上手。自V2.0版本开始，nGQL逐步兼容openCypher 9标准。吴敏认为，随着GQL标准的制定，对于提升行业标准化，降低用户学习和迁移成本会有很大的帮助。

对于正在发展初期的图数据库而言，需要全行业共同努力，一起呵护，既看到优势也看到不足，积跬步以致千里，期待图数据库更多的落地。

---

交流图数据库技术？加入 Nebula 交流群请先[填写下你的 Nebula 名片](https://wj.qq.com/s2/8321168/8e2f/)，Nebula 小助手会拉你进群~~

【活动】Nebula Hackathon 2021 进行中，一起来探索未知，领取 ¥ 150,000 奖金 →→ [https://nebula-graph.com.cn/hackathon/](https://nebula-graph.com.cn/hackathon/)


​电信诈骗越来越猖狂，与诈骗犯斗智斗勇进行反欺诈，疫情流调，在人潮人海中快速找到密接人员……这背后很可能都有数据库当红炸子鸡图数据库的技术支撑。…

标签