语音编程平台简介
语音编程工具有哪些:Talon是一款声音编程平台,它追求的意义在于完全取代键盘和鼠标。。当前,全球有两个领先的语音编程平台(Programming-By-Speech Platforms)。一是Serenade,它的作用有点像数字助手,可以让你描述正在编程的命令,而不要求你必须逐字逐句地口述每条指令。另一个就是Talon,它提供了对每一行代码更精细的控制,这也意味着你需要对每一个被编入机器的任务有更细致的把握。具体的差别可以参考文章末尾的Serenade 和 Talon编程的例子。
除了这两个外,还有免费的Aenea和Caster等开源语音编程平台,但两者都依赖于Dragon语音识别引擎,用户必须自行购买。
硬件要求:Serenade的模型是在笔记本电脑麦克风产生的音频上进行训练的,但考虑到消除背景噪音的要求,你在进行语音编程时可能需要一个像样的麦克风。而如果你想用眼球追踪运行Talon,你还需要眼球追踪硬件。
Talon
Talon有几个组成部分:语音识别、眼球追踪和噪音识别。Talon的语音识别引擎基于Facebook的Wav2letter自动语音识别系统,Hileman对该系统进行了扩展,以适应语音编码的命令。同时,Talon的眼球追踪和噪音识别功能可以模拟用鼠标导航,根据眼球运动在屏幕上移动光标,并根据嘴部弹出的声音进行点击,这种声音易发出(缓解声音疲劳),识别延迟低。
Talon
1. 下载后直接安装并运行talon.exe或talon_console.exe
官方下载: https://talonvoice/
官方文档: https://talonvoice/docs/
Talon有免费版,也有收费版。
以windows为例,右下角的网络显示旁会有一个小图标
2. 下载自带的语音识别模型(也可以使用Dragon)
打开talon_console.exe (可以看到log),选择【speech Recognition】-> 【install: Gen2】
在console中可以看到下载的信息
3. 下载配置
右键talon的小图标,选择【script】->【open ~/talon】,会打开目录%AppData%\Talon\user 或者 ~/.talon/user
切换到该目录下
cd %AppData%\Talon\user # windows
cd ~/.talon/user # linux or Mac
git clone https://github/knausj85/knausj_talon
重启talon.exe使配置生效。
4. 基本使用
参考readme
help activate
打开所有的可用命令帮助窗口
help one one
or help eleven
: 选择help列表的第11项
help search tab
搜索所有和tab相关的命令
help symbols
or help visual studio
打开自定义的.talon相关命令
help alphabet
打开字母表
help format
打开定义的格式
help close
关闭窗口
Serenade 和 Talon编程的例子
参考工作
[1] Hands-Free Coding
[2] 键盘敲代码out了!编程用“说”的,人人都是程序员
[3] 语音编程可能成为软件开发的下一个前沿领域
[4] 双手无法敲代码的程序员,该如何编程?
[5] What Does a Coder Do If They Can’t Type?
[6] https://talon.wiki/getting_started/#install-a-talon-user-file-set
[4]是[5]的一个译文。
更多推荐
声音编程(Voice Coding) Talon(一) 基本介绍与安装使用
发布评论