Livegrep：大型代码库的正则搜索工具

文章目录Livegrep大型代码库的正则搜索工具1、这工具解决什么问题2、怎么用3、GitHub 集成4、本地文件浏览5、Docker 部署6、正则引擎7、适合谁用Livegrep大型代码库的正则搜索工具Livegrep 在 GitHub 上有 2,216 个 Star。这个工具做一件事对 GB 级别的代码仓库做正则搜索结果实时返回。灵感来自 Google Code Search。1、这工具解决什么问题代码库大了以后搜索变成一件麻烦事。grep 能用但面对几个 GB 的仓库跑一次等半天。IDE 的全局搜索更慢有时候直接卡死。想要跨多个仓库搜索基本没戏。Livegrep 的做法是先建索引再搜索。索引建好以后搜索速度和代码库大小没关系基本是毫秒级返回。2、怎么用Livegrep 分两部分后端叫 codesearch负责读代码、建索引、处理搜索请求前端是个 Web 界面负责展示结果。构建用 Bazel一条命令搞定bazel build //...启动后端bazel-bin/src/tools/codesearch -grpc localhost:9999 doc/examples/livegrep/index.json启动前端bazel-bin/cmd/livegrep/livegrep_/livegrep然后打开浏览器访问 localhost:8910就能用了。索引文件可以存到磁盘下次启动直接加载不用重新建。索引大小一般是源码的 3 到 5 倍用内存映射方式加载就算索引比内存大也能跑当然内存够大效果更好。3、GitHub 集成Livegrep 带了一个辅助工具 livegrep-github-reindex能自动拉取 GitHub 仓库并建索引。比如要把某个用户的所有仓库排除 fork建索引bazel-bin/cmd/livegrep-github-reindex/livegrep-github-reindex -user用户名 -forksfalse -namegithub.com/用户名 -out 输出文件.idx这条命令会把仓库克隆到本地生成索引文件之后直接用这个文件启动搜索服务就行。4、本地文件浏览除了搜索代码Livegrep 还能直接查看源文件不用跳转到外部浏览器。需要在配置文件里加一个 IndexConfig 块告诉前端源文件在哪。如果用 livegrep-github-reindex 建索引它会自动生成这个配置文件。搜索到结果以后点击文件名或行号就能直接在 Livegrep 里看代码。5、Docker 部署不想装 BazelDocker 镜像也有。建索引docker run -v $(pwd):/data ghcr.io/livegrep/livegrep/indexer /livegrep/bin/livegrep-github-reindex -repo livegrep/livegrep -http -dir /data启动后端和前端docker network create livegrep docker run -d --rm -v $(pwd):/data --network livegrep --name livegrep-backend ghcr.io/livegrep/livegrep/base /livegrep/bin/codesearch -load_index /data/livegrep.idx -grpc 0.0.0.0:9999 docker run -d --rm --network livegrep --publish 8910:8910 ghcr.io/livegrep/livegrep/base /livegrep/bin/livegrep -docroot /livegrep/web -listen 0.0.0.0:8910 --connect livegrep-backend:9999跑起来以后访问 localhost:8910 就能用。6、正则引擎搜索用的是 Google 的 re2 引擎语法和 PCRE 大部分兼容但有一些刻意的不同。具体支持哪些语法可以查 re2 的文档。7、适合谁用维护大型单体仓库的团队需要快速定位代码跨多个仓库搜索的场景比如微服务架构想在内网部署代码搜索服务的公司开源项目维护者想给社区提供在线代码浏览Livegrep 的定位很明确给大代码库做正则搜索。功能不多但这一件事做得扎实。比如微服务架构想在内网部署代码搜索服务的公司开源项目维护者想给社区提供在线代码浏览Livegrep 的定位很明确给大代码库做正则搜索。功能不多但这一件事做得扎实。