社区动态

Pick of the Week'20 | 第 48 周看点--ARM64 可编译 NebulaGraph

每周看点

每周五 Nebula 为你播报每周看点,每周看点由固定模块:本周新进 pr、社区问答、推荐阅读,和随机模块:本周大事件构成。

即将送走的是 2020 年第 48 个工作周的周五 🌝 许久不见,来和 Nebula 一块回顾下本周图数据库和 Nebula 有什么新看点~~

本周大事件

NebulaGraph Studio v2.0.0-alpha 支持使用 NebulaGraph v2.0.0 alpha 语法查询及可视化操作。 目前数据导入以及 schema 索引部分暂时未能兼容。后续会尽快优化补全支持。

image.png

image.png

本次活动你将了解到微众银行的 NebulaGraph 实践,360 的图数据库迁移史和 NebulaGraph 2.0 全面解读、DBaaS 服务解析。

产品动态

社区问答

Pick of the Week 每周会从官方论坛、微博、知乎、微信群、微信公众号及 CSDN 等渠道精选问题同你分享。

本周分享的主题来自社区用户 @xrfinbj,关于【Exchange 和 Spark Writer 什么关系?】

提问:Exchange 和 Spark Writer 什么关系? 一个代码来自 nebula/src/tools/spark-sstfile-generator 一个代码来自 nebula-java/tools/exchange NebulaGraph Exchange(简称为 Exchange)是一款 Apache Spark™ 应用,用于在分布式环境中将集群中的数据批量迁移到 NebulaGraph中,能支持多种不同格式的批式数据和流式数据的迁移。 Spark Writer 是 NebulaGraph 基于 Spark 的分布式数据导入工具,能够将多种数据仓库中的数据转化为图的点和边,并批量导入到图数据库中。

在 Spark 数据导入中的一些实践细节 这里说是同一个 image.png

Nebula:Exchange 是由 Spark Writer 迁移而来,且在 Spark Writer 的基础上提供了更丰富的数据源,如 MySQL、Neo4j、Hive、HBase、Kafka、Pulsar 等。

而且 Exchange 修复了关于 HDFS 文件导入时存在的数据类型与 Nebula Schema 数据类型不匹配的问题(如 HDFS 文件被 Spark 读成 DataFrame 时默认的数据类型均为 string,当 NebulaGraph 中 Schema 为 int、double 等类型时无法完成导入)。

后期的维护工作将集中在Exchange上。

建议利用 Spark 进行数据导入时使用 Exchange。

这里再提下文档里的注意点,文档里的 [TODO] 表示后期会在文档里补上这几个操作示例。Exchange 实际上已经具备了这些功能。使用 Exchange 从其他数据源迁移数据时,暂时可以参考 Neo4j 的操作示例:https://docs.nebula-graph.com.cn/nebula-exchange/use-exchange/ex-ug-import-from-neo4j/

推荐阅读

本期 Pick of the Week 就此完毕,喜欢这篇文章?来来来,给我们的 GitHub 点个 star 表鼓励啦~~ 🙇‍♂️🙇‍♀️ [手动跪谢]

交流图数据库技术?加入 Nebula 交流群请先填写下你的 Nebula 名片,Nebula 小助手会拉你进群~~

关注公众号


Tag
Recommended for you
green iguana

技术分享

使用 nebula-spark-connector 3.6 版本搭建备集群实践
green iguana

技术分享

来自开发者的认可,NebulaGraph Star 突破 10,000 大关
green iguana

技术分享

多年 NLP 从业者对 LLM 和知识图谱的一些看法