ArgoWorkflow+Sparkoperator+Applogsnotgenerated(ArgoWorkflow+Spark操作符+应用程序日志未生成)
创始人
2024-09-13 05:01:25
0
  1. 确认Spark操作符已正确部署,并且在Argo Workflow中正确地定义了容器模板。以下是Spark操作符容器模板的示例:
containers:
    - name: spark
      image: gcr.io/google_containers/spark:v2.3.0
      command:
        - "spark-submit"
        - "--master"
        - "yarn"
        - "--deploy-mode"
        - "client"
        - "--conf"
        - "spark.executor.instances=2"
        - "--conf"
        - "spark.hadoop.fs.s3a.access.key=mykey"
        - "--conf"
        - "spark.hadoop.fs.s3a.secret.key=mysecret"
        - "/mnt/spark.py"
  1. 确认应用程序容器在运行时输出日志。在应用程序容器中运行以下命令可以确保日志已正确输出:
$ touch /tmp/myapp.log
$ tail -f /tmp/myapp.log
  1. 在Spark操作符的容器模板中添加日志路径,以确保应用程序的日志输出路径正确设置。以下是示例代码:
spec:
  sparkConf:
    'spark.executorEnv.YARN_CONTAINER_RUNTIME_TYPE': 'docker'
    'spark.executorEnv.YARN_CONTAINER_RUNTIME_DOCKER_IMAGE': 'myapp:latest'
    'spark.executorEnv.YARN_CONTAINER_RUNTIME_DOCKER_MOUNTS': '/var/log/myapp:/var/log/myapp'
  1. 配置Argo Workflow的服务端,使其接受并保存应用程序日志。可以使用ELK堆栈、Grafana、Prometheus等技术。

通过以上步骤,可以解决“Argo Workflow + Spark操作符 + 应用程序日志未生成”的问题。

相关内容

热门资讯

前端-session、jwt 目录:   (1)session (2&#x...
linux入门---制作进度条 了解缓冲区 我们首先来看看下面的操作: 我们首先创建了一个文件并在这个文件里面添加了...
关于测试,我发现了哪些新大陆 关于测试 平常也只是听说过一些关于测试的术语,但并没有使用过测试工具。偶然看到编程老师...
前缀和与对数器与二分法 1. 前缀和 假设有一个数组,我们想大量频繁的去访问L到R这个区间的和,...
nodejs:本地安装nvm实... 一、背景-使用不同版本node的原因 vue3+ts、nuxt3版本,node...
JAVA集合知识整理 Java集合知识整理 HashMap相关 HashMap的底层数据结构:jdk1.8之...
无刷直流电机介绍及单片机控制实... 无刷直流电机介绍及单片机控制实例前言基本概念优势与劣势使用寿命基本结构使用单片机控制实例电子调速器&...
fwdiary(2) dp2 1.传纸条  AcWing 275. 传纸条 - AcWing 走两条路,走一条最大的...
常用的DOS命令 常用的DOS命令 DOS(Disk Operating System,磁...
<C++> 类和对象(下) 1.const成员函数将const修饰的“成员函数”称之为const成员函数,cons...