✓ Verified 💻 Development ✓ Enhanced Data

Screen Vision

macOS Local OCR & Automation Tool using Vision Framework.

Rating
4 (293 reviews)
Downloads
1,312 downloads
Version
1.0.0

Overview

macOS Local OCR & Automation Tool using Vision Framework.

Complete Documentation

View Source →

screen-vision Skill

利用 Mac 本地 Vision 框架实现的极速 OCR 识别工具,为 AI 提供“本地之眼”。

功能

  • 零 Token 截屏识别:在本地完成屏幕文字提取,仅向 AI 传输关键文本和坐标。
  • 精确坐标定位:识别屏幕上任何文字的 [X, Y] 坐标。
  • 多语言支持:支持中英文混合识别。
  • 通用操作基础:配合内置脚本,可实现对任何应用的自动化点击和输入。

权限要求 (重要)

由于 macOS 的安全性限制,使用此技能前,用户必须手动在以下路径开启权限:
  • 系统设置 -> 隐私与安全性 -> 屏幕录制:勾选你运行 OpenClaw 的终端或应用(如 Terminal, iTerm2)。
  • 系统设置 -> 隐私与安全性 -> 辅助功能:同上(用于点击操作)。

使用场景

  • 当用户说:“帮我操作 [某应用]”时,先运行此 Skill 扫描界面。
  • 自动监控屏幕上的状态变化(如:余额、通知、进度条)。
  • 识别非标准 UI(如 Telegram 桌面版、专业工具软件)。

内部代码

  • scripts/vision_ocr.swift: 执行本地 Swift 识别逻辑。
  • scripts/click.swift: 执行物理鼠标点击。

Installation

Terminal bash

openclaw install screen-vision
    
Copied!

Tags

#ai_and-llms #automation

Quick Info

Category Development
Model Claude 3.5
Complexity Multi-Agent
Author ls18166407597-design
Last Updated 3/10/2026
🚀
Optimized for
Claude 3.5
🧠

Ready to Install?

Get started with this skill in seconds

openclaw install screen-vision