EMR Skills

• 何时使用（触发短语）
• 当用户提出以下任何类似需求时，立即调用该技能：

  “查询EMR集群的服务列表”
  “重启Spark服务”
  “获取 EMR 作业日志”
  “查看EMR serverless队列列表”
  “查看EMR serverless队列详情”
  “使用 EMR Serverless 运行任务”
  “在 EMR 上提交一个 Spark 作业”
  “帮我诊断一下失败的 Spark 作业”
  “分析一下EMR作业失败的原因”
  

• 任何涉及 EMR Serverless 作业/队列/计算组/监控/日志/诊断 的操作询问

功能清单

• EMR Serverless
  • 队列：开通公共队列、队列列表查询、队列详情查询、队列下计算组列表查询
  • 队列权限：查询队列授权主体、为用户授予/修改队列权限
  • 计算组：创建/修改/启动/停止/删除、查询可选规格与镜像、外部元数据连通性测试
  • 作业模板：创建/更新/查询详情/列表查询/运行
  • 作业实例：提交（SparkSQL/PrestoSQL/SparkJar/PySpark/RayJob）、查询状态与详情、取消、获取 tracking url、获取提交日志与执行日志、列表查询、重跑、结果分批拉取
  • 监控：队列/计算组/作业监控数据查询，按指标清单逐项拉取并汇总报告
• EMR Agent
  • 交互式诊断与知识问答
  • 会话与报告管理
• EMR on ECS
  • 集群：查看集群详情、集群列表、更新集群属性
  • 节点组：列出节点组、更新节点组属性、节点列表、扩容节点组磁盘、更新节点组ECS规格
  • 服务：列出应用、组件列表、组件实例列表、执行应用操作
  • 服务配置：配置文件列表、配置文件详情、配置项列表、配置项修改历史列表、修改配置项
  • 操作审计：操作列表查询
  • 用户：创建集群用户、修改已创建用户信息、获取集群用户列表、获取用户详情、更新集群用户密码
  • 用户组：获取集群用户组列表、集群用户组详情、创建集群用户组、更新集群用户组
• EMR on VKE
  • 集群：查看集群列表、集群详情
  • 服务（应用）：查看服务列表、服务组件实例、重启服务或组件实例、查看服务配置参数、修改服务配置参数
  • 操作日志：查看操作日志列表、操作日志详情

Initial Setup

• 确保已配置火山引擎 API 凭证：

export VOLCENGINE_AK="your-access-key"
export VOLCENGINE_SK="your-secret-key"
export VOLCENGINE_REGION="cn-beijing"

• 安装emr serverless sdk，调用scripts/bin/install_serverless_sdk.sh安装

How to manage EMR

1. EMR on Serverless管理

• 针对全托管的 Serverless 形态，主要面向作业提交和资源队列管理。
• OpenAPI 推荐使用命令行工具：python ./scripts/on_serverless/emr_serverless_cli.py --action <Action> --method <GET|POST> --query '<json>' --body '<json>'
  • Region 默认从环境变量 读取（默认 cn-beijing）