How I Built an In-Place Android Screen Translator with Jetpack Compose, ML Kit, and Gemini Vision
ALST translates screen content directly over the original coordinates without ever leaving the active app.
重點摘要
Uses Gemini Vision for single-pass contextual translation with bounding boxes
Supports a dual engine: cloud Gemini and fully offline ML Kit
Focuses on zero-leak capture, overlay rendering, and Android 14+ compliance
The article introduces ALST (AI Live Screen Translation), an open-source Android screen translator that renders translated text in place over the active app instead of forcing screenshots or switching apps. Built with Clean Architecture and MVVM/MVI, it separates capture, OCR, translation, overlay, service, data, and UI responsibilities. In cloud mode, Gemini 3.6 Flash performs single-pass multimodal translation, extracting text, context, and bounding boxes directly from bitmap frames. A dual-engine design also supports 100% offline translation with Google ML Kit. The author emphasizes Android 14+ memory safety, overlay coordinate mapping, deep system integration via a foreground service and Quick Settings tile, and a BYOK privacy model with no telemetry.
我如何用 Jetpack Compose、ML Kit 和 Gemini Vision 构建原位 Android 屏幕翻译器
ALST 会把译文直接叠加在原始坐标上,而不会让用户离开当前应用。
重點摘要
Gemini Vision 可单次完成上下文翻译并返回文本框坐标
支持云端 Gemini 与完全离线的 ML Kit 双引擎
重点处理零内存泄漏、覆盖层渲染与 Android 14+ 兼容性
文章介绍了 ALST(AI Live Screen Translation)这一开源 Android 屏幕翻译器,它能在当前应用内直接按原始坐标显示译文,避免传统工具中截图、切换应用或被逐行 OCR 卡片遮挡的问题。项目采用 Clean Architecture 和 MVVM/MVI,将采集、OCR、翻译、覆盖层、服务、数据和 UI 分离成独立模块。云端模式下,Gemini 3.6 Flash 可对位图帧进行单次多模态翻译,既识别文字也理解语境,并返回边界框;离线模式则结合 ML Kit 文字识别与设备端翻译。作者还强调了 Android 14+ 下的内存回收、坐标映射、前台服务与快捷设置入口,以及基于 BYOK、无遥测的隐私设计。
我如何用 Jetpack Compose、ML Kit 與 Gemini Vision 打造 Android 即時畫面內翻譯器
ALST 會直接在原始座標上顯示翻譯結果,讓使用者不用離開目前的 App。
重點摘要
Gemini Vision 可單次完成語境翻譯並回傳文字框座標
支援雲端 Gemini 與完全離線的 ML Kit 雙引擎
重視零記憶體洩漏、覆蓋層繪製與 Android 14+ 相容性
本文介紹 ALST(AI Live Screen Translation),一款開源的 Android 畫面即時翻譯工具,可直接在原 App 上方依原座標顯示譯文,避免手動截圖、切換應用或被 OCR 卡片遮住內容。專案採 Clean Architecture 與 MVVM/MVI,將擷取、OCR、翻譯、覆蓋層、服務、資料與 UI 分模組設計。雲端模式使用 Gemini 3.6 Flash 進行單次多模態翻譯,能同時理解語境並回傳 bounding box;離線模式則結合 ML Kit 文字辨識與裝置端翻譯。作者也說明了 Android 14+ 的記憶體管理、浮動視窗座標對應、前景服務與 Quick Settings 整合,以及以 BYOK 為核心的隱私設計。