Skip to content

C++项目内嵌后无法使用自然语言进行端到端测试,感觉没用到flutter-skill #33

@yangweijuan980616

Description

@yangweijuan980616

首先非常感谢作者实现了基于C++系统的自动化流程!再实际的操作过程中发现了以下问题:

前置步骤:
1、使用命令 npm install -g flutter-skill安装
2、再cursor中完成mcp的配置
Image
3、将代码内嵌到C++客户端中并重新发布
4、telnet 127.0.0.1 18118 通过
5、本C++平台信息:
采用 Qt5 + CMake + MSVC +NuGet/VS属性表构建的大型模块化客户端,主工程 C++11,Windows上的QT5 Widgets原生桌面客户端,以win x64为主,;目前是以静态库 flutter_skill 形式链入 项目 主工程

实际操作:
1、直接运行flutter run :'flutter' 不是内部或外部命令,也不是可运行的程序或批处理文件。
2、直接在cursor的对话框中输入自然语言,点击按钮「图像处理」,corsor反馈:你装的 flutter-skill(npm)里的 act tap 不能用来点 「图像处理」。flutter-skill act 会连 Flutter VM Service(ws://... 上的 Dart VM 协议),并调用 ext.flutter.flutter_skill.* 扩展。MOZI 里嵌的是 C++ Bridge(ws://127.0.0.1:18118 上的 JSON-RPC:tap / screenshot 等),不是 Flutter VM,所以:flutter-skill act ws://127.0.0.1:18118 tap "图像处理"这类命令连不上或无法按文字点 Qt 按钮(协议与能力都不一致)。cursor给出的方案是:使用python或者node编写代码的方式实现界面内容点击「先截图再找坐标再 tap]。

最终问题:
1、C++项目能否使用自然语言的方式实现界面内容点击
2、使用起来是否就是像cursor给回复的一定是「先截图再找坐标再 tap],需要先生成python代码连接18118端口进行截图?

再次感谢作者实现了基于C++系统的自动化流程!期待您的解答

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions