Presto本地开发,plugin的设置
创始人
2024-05-30 19:15:39
0

1. 新的问题

  • 之前搭建Presto的本地开发环境时,一直使用config.properties中的plugin.bundles配置项定义需要加载的plugin模块,详细可以参考博客《win10基于IDEA,搭建Presto开发环境》
  • presto服务启动时,指定加载哪些组件,有下面两种配置方法:
    • 线上服务部署,一般使用plugin.dir配置项,默认值:安装包下的plugin目录。会加载plugin目录下的所有插件,比较适合线上服务
    • 本地开发,一般使用plugin.bundles配置项,指定需要加载的plugin以实现服务的快速启动
  • 后来更换笔记本电脑,重新搭建本地开发环境时,发现使用plugin.bundles,竟然无法成功加载plugin
  • 具体报错信息如下,不是很完整:
    2022-07-15T22:54:50.333+0800	ERROR	main	com.facebook.presto.server.PrestoServer	Error loading pom: D:\IdeaProjects\facebook-presto-0.223.1\presto-main\..\presto-memory\pom.xml
    java.lang.RuntimeException: Error loading pom: D:\IdeaProjects\facebook-presto-0.223.1\presto-main\..\presto-memory\pom.xmlat io.airlift.resolver.ArtifactResolver.resolvePom(ArtifactResolver.java:143)...at com.facebook.presto.server.PrestoServer.main(PrestoServer.java:77)
    Caused by: org.apache.maven.project.ProjectBuildingException: 1 problem was encountered while building the effective model for com.facebook.presto:presto-memory:0.240
    [FATAL] Non-resolvable parent POM for com.facebook.presto:presto-root:0.240: Could not transfer artifact com.facebook.airlift:airbase:pom:99 from/to central (http://repo.maven.apache.org/maven2): Failed to transfer http://repo.maven.apache.org/maven2/com/facebook/airlift/airbase/99/airbase-99.pom. Error code 501, HTTPS Required and 'parent.relativePath' points at wrong local POM @ com.facebook.presto:presto-root:0.240, D:\IdeaProjects\facebook-presto-0.223.1\pom.xml, line 5, column 13for project com.facebook.presto:presto-memory:0.240 at D:\IdeaProjects\facebook-presto-0.223.1\presto-main\..\presto-memory\pom.xmlat org.apache.maven.project.DefaultProjectBuilder.build(DefaultProjectBuilder.java:149)at org.apache.maven.project.DefaultProjectBuilder.build(DefaultProjectBuilder.java:102)at io.airlift.resolver.ArtifactResolver.resolvePom(ArtifactResolver.java:136)... 6 more
    Caused by: org.apache.maven.model.building.ModelBuildingException: 1 problem was encountered while building the effective model for com.facebook.presto:presto-memory:0.240
    [FATAL] Non-resolvable parent POM for com.facebook.presto:presto-root:0.240: Could not transfer artifact com.facebook.airlift:airbase:pom:99 from/to central (http://repo.maven.apache.org/maven2): Failed to transfer http://repo.maven.apache.org/maven2/com/facebook/airlift/airbase/99/airbase-99.pom. Error code 501, HTTPS Required and 'parent.relativePath' points at wrong local POM @ com.facebook.presto:presto-root:0.240, D:\IdeaProjects\facebook-presto-0.223.1\pom.xml, line 5, column 13at org.apache.maven.model.building.DefaultModelProblemCollector.newModelBuildingException(DefaultModelProblemCollector.java:195)at org.apache.maven.model.building.DefaultModelBuilder.readParentExternally(DefaultModelBuilder.java:841)at org.apache.maven.model.building.DefaultModelBuilder.readParent(DefaultModelBuilder.java:664)at org.apache.maven.model.building.DefaultModelBuilder.build(DefaultModelBuilder.java:310)at org.apache.maven.model.building.DefaultModelBuilder.build(DefaultModelBuilder.java:232)at org.apache.maven.project.DefaultProjectBuilder.build(DefaultProjectBuilder.java:142)... 8 more
    

分析错误日志,得到以下信息:

  • 无法正确加载指定plugin的pom.xml文件,Error loading pom ...
  • 无法加载pom文件的原因: 无法从默认的central仓库,加载presto-root的父模块com.facebook.airlift:airbase,也就是无法加载祖父模块
  • 无法访问central仓库的原因:central仓库使用的是其http地址,现在已经要求使用https方式了

2. 正确的解决办法

  • 在config.properties中,使用maven.repo.local指定本地maven仓库,

    maven.repo.local=/Users/xxx/repo
    
  • 本地仓库已经包含事先mvn clean install好的plugin jar,服务启动加载plugin时,便可以直接从本地仓库获取jar

    2023-03-07T17:21:44.074+0800	INFO	main	com.facebook.airlift.bootstrap.LifeCycleManager	Life cycle startup complete. System ready.
    2023-03-07T17:21:44.074+0800	INFO	main	com.facebook.presto.server.PluginManager	-- Loading plugin ../presto-memory/pom.xml --
    2023-03-07T17:21:55.707+0800	DEBUG	main	com.facebook.presto.server.PluginManager	Classpath for ../presto-memory/pom.xml:
    2023-03-07T17:21:55.728+0800	DEBUG	main	com.facebook.presto.server.PluginManager	    /Users/xxx/IdeaProjects/facebook-presto-0.223.1/presto-memory/target/classes
    2023-03-07T17:21:55.730+0800	DEBUG	main	com.facebook.presto.server.PluginManager	    /Users/xxx/repo/aopalliance/aopalliance/1.0/aopalliance-1.0.jar
    ...
    2023-03-07T17:21:55.760+0800	INFO	main	com.facebook.presto.server.PluginManager	Installing com.facebook.presto.plugin.memory.MemoryPlugin
    2023-03-07T17:21:55.771+0800	INFO	main	com.facebook.presto.server.PluginManager	Registering connector memory
    2023-03-07T17:21:55.773+0800	INFO	main	com.facebook.presto.server.PluginManager	-- Finished loading plugin ../presto-memory/pom.xml --
    

3. 不完美的解决办法

  • 为了避免大家走弯路,还是记录一下自己最开始的不完美的解决办法

  • 从网上查阅资料,发现该仓库确实已经从2020开始,改为使用https访问了

  • 全局搜索,只定位到maven-model-builder依赖中使用的pom-4.0.0.xml,配置的maven仓库地址符合要求

    org.apache.mavenmaven-model-builder3.0.4
    
    

    在这里插入图片描述

  • 通过依赖分析,发现maven-model-builderpresto-main模块因为使用io.airlift.resolver:resolver:1.4,传递导入的
    在这里插入图片描述

  • 因此,就认为只要exclued掉presto-main中的maven-model-builder依赖就行

  • 结果仍然不行,最终只能使用plugin.dir配置plugin信息

    plugin.dir=../presto-server/target/presto-server-0.240/presto-server-0.240/plugin
    
  • 使用plugin.dir存在的问题: 开发过程中,模块重新编译后,需要将该模块的jar放到plugin中,否则最新的代码无法生效

4. 后记:关于Presto Plugin

  • Presto使用插件机制,符合SPI规范的Connector、Type、Function、System Access Control等可以加入到Presto中
  • 插件机制,使得组件功能可插拔、可定制化,可以满足用户的不同需求
  • 不同的插件,定义方式有所差别,但下面的一些事情是通用的:
    1. pom.xml中,packaging方式必须为presto-plugin
      presto-plugin
      
    2. pom.xml中,需要引入presto-spi模块。同时,必须实现SPI中定义的接口,或重写SPI中定义的方法
      com.facebook.prestopresto-spiprovided
      
      
    3. 配置presto-root的pom.xml,添加该插件对应的模块
      presto-xxx-module
      
    4. presto-server/src/main/assembly/presto.xml文件中,配置plugin的输出目录
      ${project.build.directory}/dependency/presto-xxx-module-${project.version}plugin/xxx-module
      
      
    5. 配置presto-server的pom.xml文件,增加以下内容,以保证安装包对应的plugin目录有它的jar包
      com.facebook.prestopresto-xxx-module${project.version}zipprovided
      
      

相关内容

热门资讯

【NI Multisim 14...   目录 序言 一、工具栏 🍊1.“标准”工具栏 🍊 2.视图工具...
银河麒麟V10SP1高级服务器... 银河麒麟高级服务器操作系统简介: 银河麒麟高级服务器操作系统V10是针对企业级关键业务...
不能访问光猫的的管理页面 光猫是现代家庭宽带网络的重要组成部分,它可以提供高速稳定的网络连接。但是,有时候我们会遇到不能访问光...
AWSECS:访问外部网络时出... 如果您在AWS ECS中部署了应用程序,并且该应用程序需要访问外部网络,但是无法正常访问,可能是因为...
Android|无法访问或保存... 这个问题可能是由于权限设置不正确导致的。您需要在应用程序清单文件中添加以下代码来请求适当的权限:此外...
北信源内网安全管理卸载 北信源内网安全管理是一款网络安全管理软件,主要用于保护内网安全。在日常使用过程中,卸载该软件是一种常...
AWSElasticBeans... 在Dockerfile中手动配置nginx反向代理。例如,在Dockerfile中添加以下代码:FR...
AsusVivobook无法开... 首先,我们可以尝试重置BIOS(Basic Input/Output System)来解决这个问题。...
ASM贪吃蛇游戏-解决错误的问... 要解决ASM贪吃蛇游戏中的错误问题,你可以按照以下步骤进行:首先,确定错误的具体表现和问题所在。在贪...
月入8000+的steam搬砖... 大家好,我是阿阳 今天要给大家介绍的是 steam 游戏搬砖项目,目前...