Google Gemini už dnes dokáže odpovídat na otázky o obsahu obrazovky vašeho telefonu, ale vyžaduje k tomu ruční aktivaci tlačítka „Ask about screen“. Nově se objevují náznaky, že Google pracuje na režimu, kdy by Gemini dokázala sama rozpoznat, že se ptáte na obsah obrazovky, a kontext by analyzovala automaticky.
V současné době je workflow trochu zdlouhavé – nejprve je nutné vyvolat Gemini, pak klepnout na „Ask about screen“ a až poté položit dotaz. Pokud tento krok přeskočíte, Gemini kontext nepochopí. Nově testovaný režim by tuto překážku odstranil.
Podle informací ukrytých ve verzi 16.37.46.sa.arm64 aplikace Google Gemini by mohlo přibýt nastavení „Screen Context“. To by umožnilo, aby Gemini sama vyhodnotilo, kdy má přístup k obrazovce získat, pokud uživatel položí otázku vztahující se k tomu, co právě vidí. Díky tomu by odpadl nutný mezikrok.
Fotogalerie
Aby byla funkce bezpečná, Google plánuje vyžadovat explicitní povolení. V nastavení digitálního asistenta bude možné kontrolovat, zda má Gemini právo pracovat se screenshoty. Pokud by uživatel změnu aktivoval omylem, aplikace zobrazí upozornění s možností funkci vypnout.
Při aktivovaném nastavení se má objevit hláška „Getting app content…“, následovaná zprávou Gemini vysvětlující, co se právě stalo. Jde zatím o testovací fázi a není jisté, zda se tato možnost skutečně dostane do stabilní verze aplikace. Pokud se Gemini podaří spolehlivě rozpoznat, kdy se otázka týká obrazovky, půjde o praktickou rovnováhu mezi pohodlím a kontrolou.
