Jak umieścić słowo pod kursorem w systemie Windows?

W najnowszych wersjach systemu Windows zalecanym sposobem zbierania informacji z jednej aplikacji do drugiej (jeśli oczywiście nie posiadasz docelowej aplikacji) jest użycie technologii UI Automation. Wikipedia jest całkiem dobra, aby uzyskać więcej informacji na ten temat: Microsoft UI Automation

Zasadniczo Automatyzacja interfejsu użyje wszystkich niezbędnych środków, aby zebrać to, co można zebrać

Oto mały kod aplikacji konsolowej, który będzie szpiegował interfejs innych aplikacji. Run it i przesuń kursor myszy do różnych aplikacji. Każda aplikacja ma inną obsługę różnych "wzorców automatyzacji interfejsu użytkownika". Na przykład, istnieje wzorzec wartości i wzorzec tekstowy, jak pokazano tutaj.

static void Main(string[] args)
{
    do
    {
        System.Drawing.Point mouse = System.Windows.Forms.Cursor.Position; // use Windows forms mouse code instead of WPF
        AutomationElement element = AutomationElement.FromPoint(new System.Windows.Point(mouse.X, mouse.Y));
        if (element == null)
        {
            // no element under mouse
            return;
        }

        Console.WriteLine("Element at position " + mouse + " is '" + element.Current.Name + "'");

        object pattern;
        // the "Value" pattern is supported by many application (including IE & FF)
        if (element.TryGetCurrentPattern(ValuePattern.Pattern, out pattern))
        {
            ValuePattern valuePattern = (ValuePattern)pattern;
            Console.WriteLine(" Value=" + valuePattern.Current.Value);
        }

        // the "Text" pattern is supported by some applications (including Notepad)and returns the current selection for example
        if (element.TryGetCurrentPattern(TextPattern.Pattern, out pattern))
        {
            TextPattern textPattern = (TextPattern)pattern;
            foreach(TextPatternRange range in textPattern.GetSelection())
            {
                Console.WriteLine(" SelectionRange=" + range.GetText(-1));
            }
        }
        Thread.Sleep(1000);
        Console.WriteLine(); Console.WriteLine();
    }
    while (true);
}

Automatyzacja interfejsu użytkownika jest faktycznie obsługiwana przez Internet Explorer i Firefox, ale nie przez Chrome według mojej wiedzy. Zobacz ten link: Kiedy Google Chrome będzie dostępny?

• Przez większość czasu, wszystko to ma poważne implikacje bezpieczeństwa. Korzystanie z tej technologii (lub bezpośredniej technologii Windows, takiej jak WindowFromPoint) będzie wymagało wystarczających praw do tego (takich jak bycie administratorem). I myślę, że DExperience nie ma żadnego sposobu na przezwyciężenie tych ograniczeń, chyba że zainstalują sterownik jądra na komputerze.

• Niektóre aplikacje nie ujawnią niczego nikomu, nawet z odpowiednimi prawami. Na przykład, jeśli piszę aplikacja bankowa, nie chcę, żebyś szpiegował to, co wyświetli moja aplikacja :-). Inne aplikacje, takie jak Outlook z DRM, nie ujawnią niczego z tych samych powodów.

• Tylko obsługa wzorców tekstowych automatyzacji interfejsu użytkownika może dostarczyć więcej informacji (takich jak słowo) niż tylko cały tekst. Niestety, ten specyficzny wzorzec nie jest obsługiwany przez IE ani FF, nawet jeśli obsługuje automatyzację interfejsu użytkownika na całym świecie.

Więc, jeśli to wszystko nie zadziała dla ciebie, będziesz musiał zanurz się głębiej i wykorzystaj techniki OCR lub rozpoznawania kształtów. Nawet z tym, będą przypadki, w których nie będzie w stanie to zrobić w ogóle (z powodu praw bezpieczeństwa).