openYuanrong数据系统源码编译安装：从零构建高性能分布式缓存系统

openYuanrong数据系统源码编译安装从零构建高性能分布式缓存系统【免费下载链接】yuanrong-datasystemopenYuanrong 数据系统是以内存为中心、近计算的分布式异构多级缓存为AI训推、Agent、大数据、微服务等分布式应用提供高性能的数据对象KV与数据流访问、HBM/DRAM/SSD 多级缓存以及实例间零拷贝数据共享能力。项目地址: https://gitcode.com/openeuler/yuanrong-datasystem前往项目官网免费下载https://ar.openeuler.org/ar/openYuanrong数据系统是以内存为中心、近计算的分布式异构多级缓存为AI训推、Agent、大数据、微服务等分布式应用提供高性能的数据对象KV与数据流访问、HBM/DRAM/SSD 多级缓存以及实例间零拷贝数据共享能力。本文将详细介绍如何从零开始编译安装这一强大的分布式缓存系统让你快速掌握源码构建的完整流程。 编译环境准备在开始编译前需要确保系统环境满足以下要求。openYuanrong数据系统支持两种编译方式CMake编译和Bazel编译我们将分别介绍它们的环境准备步骤。基础依赖清单软件名称版本要求作用说明openEuler22.03/24.03运行/编译的操作系统Python3.9-3.13运行/编译依赖环境GCC/G7.5.0C/C编译器CMake3.18.3CMake编译工具CMake方式需要Bazel7.4Bazel编译工具Bazel方式需要git-源代码管理工具make/libtool-编译构建辅助工具openYuanrong数据系统逻辑架构示意图展示了其分布式缓存的核心组件和交互流程快速环境配置推荐如果希望快速开始可以使用官方提供的编译镜像已包含所有基础依赖docker pull swr.cn-southwest-2.myhuaweicloud.com/openyuanrong/datasystem-compile:v0.6.3-openeuler-22.03镜像支持X86_64和ARM64架构不包含Ascend和RDMA相关依赖如需这些特性需额外安装。手动环境配置1. 安装系统依赖sudo yum install gcc gcc-c git patch make libtool cmake -y2. 安装Python环境推荐使用Miniconda管理Python环境cd /tmp curl -O https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-py311_23.10.0-1-Linux-$(arch).sh bash Miniconda3-py311_23.10.0-1-Linux-$(arch).sh -b cd - . ~/miniconda3/etc/profile.d/conda.sh conda init bash conda create -n py311 python3.11.4 -y conda activate py311安装Python打包工具pip install wheel pip install -U setuptools3. 可选依赖安装CANN异构计算支持如需要昇腾芯片相关特性需安装CANN 8.5# 下载CANN run包后执行 chmod x ./Ascend-cann-toolkit_version_linux-arch.run ./Ascend-cann-toolkit_version_linux-arch.run --install --quiet source ${HOME}/Ascend/ascend-toolkit/set_env.sh # 非root用户RDMA支持如需高速网络特性安装rdma-coresudo yum install rdma-core-devel -y 源码编译安装步骤1. 下载源码git clone https://gitcode.com/openeuler/yuanrong-datasystem.git cd yuanrong-datasystem2. 选择编译方式方式一CMake编译适合大多数用户基础编译命令禁用异构特性bash build.sh -X off如需启用异构特性已安装CANNsource ${HOME}/Ascend/ascend-toolkit/set_env.sh # 非root用户 bash build.sh -X on编译线程数默认8性能较差的机器可使用-j4减少线程bash build.sh -X off -j4方式二Bazel编译适合开发人员基础编译命令# Release编译 bash build.sh -b bazel # Debug编译 bash build.sh -b bazel -d # 指定线程数 bash build.sh -b bazel -j 16Bazel支持更多高级编译选项如开启URMA、Pipeline H2D等特性# 开启URMA支持 bash build.sh -b bazel -r -M on # 编译并运行测试 bash build.sh -b bazel -r -t runopenYuanrong数据系统部署架构图展示了集群环境下的组件分布3. 编译产物说明编译成功后产物将输出到output/目录主要包含output/ ├── openyuanrong_datasystem-0.5.0-cp311-cp311-manylinux_2_34_x86_64.whl # Python SDK ├── yr-datasystem-v0.5.0.tar.gz # 部署包 └── cpp/ # C SDKBazel编译时生成 ├── include/datasystem/ # 头文件 └── lib/libdatasystem.so # 动态库部署包解压后结构datasystem/ ├── sdk/cpp/ # C SDK ├── service/ # 服务端程序 │ ├── datasystem_worker # Worker进程 │ └── worker_config.json # 配置文件 └── cli/ # 命令行工具4. 安装Python SDKpip install output/openyuanrong_datasystem-*.whl 验证安装安装完成后可以通过以下方式验证检查Python包pip list | grep openyuanrong-datasystem运行示例程序python example/python/kv_client_example.py启动Worker服务cd output/yr-datasystem-v*/service ./datasystem_worker --config worker_config.json⚙️ 常见问题解决编译速度慢减少并行线程数bash build.sh -j4使用Bazel增量编译Bazel默认支持增量编译第二次编译会更快依赖缺失检查是否已安装所有基础依赖docs/source_zh_cn/installation/installation_linux.md对于特殊依赖如CANN/RDMA参考官方完整安装指南docs/source_zh_cn/installation/build_guide/cmake_build.md编译报错查看详细日志tail -f build.log检查编译器版本是否满足要求尝试清理构建缓存后重新编译rm -rf build/ output/ 相关资源官方文档docs/source_zh_cn/index.md示例代码example/编译脚本scripts/build_cmake.sh、scripts/build_bazel.sh通过以上步骤你已经成功从源码编译安装了openYuanrong数据系统。这个高性能的分布式缓存系统将为你的AI应用、大数据处理等场景提供高效的数据访问能力。如需进一步了解高级配置和最佳实践可以参考官方文档中的最佳实践指南。【免费下载链接】yuanrong-datasystemopenYuanrong 数据系统是以内存为中心、近计算的分布式异构多级缓存为AI训推、Agent、大数据、微服务等分布式应用提供高性能的数据对象KV与数据流访问、HBM/DRAM/SSD 多级缓存以及实例间零拷贝数据共享能力。项目地址: https://gitcode.com/openeuler/yuanrong-datasystem创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考