Rozpoznawanie obiektów na zdjęciach do niedawna było całkowicie ludzką domeną. Jednak dzięki zaawansowanym rozwiązaniom stosowanym przez producentów urządzeń mobilnych i twórców oprogramowania, możliwa jest coraz bardziej dokładna analiza obrazu na smartfonach. Potencjał w dziedzinie przetwarzania obrazu jest ogromny i kilku aplikacjom już udało się go wykorzystać.

O co chodzi w analizie obrazu przez aplikacje mobilne?

Przetwarzanie i analiza obrazu to rozpoznanie, klasyfikacja i ewentualna modyfikacja znajdujących się na obrazie elementów lub jego cech. Choć dla urządzeń mobilnych są one jedynie zbiorem pikseli, odpowiednie aplikacje sprawiają, że dzisiejsze smartfony z powodzeniem można wykorzystywać do zaawansowanych obliczeń i szczegółowej analizy obrazu.

Wciąż istnieje jednak duża dysproporcja pomiędzy możliwościami smartfonów produkowanych przez Apple, a urządzeniami z systemem Android. Przede wszystkim dlatego, że przy przetwarzaniu obrazów znacznie lepiej sprawdza się wykorzystanie mocy obliczeniowej procesora graficznego (GPU). Przodują w tym smartfony z systemem iOS, dzięki czemu obsługiwane przez nie aplikacje są znacznie szybsze (nawet o kilkanaście razy), niż te korzystające wyłącznie z mocy procesora głównego (CPU).

Co sprawia, że jesteśmy w stanie analizować obraz za pomocą aplikacji mobilnych?

• Biblioteka OpenCV (a w zasadzie Open Source Computer Vision) - jest jednym z najpopularniejszych składników, z których korzysta się przy programowaniu aplikacji mobilnych opartych na przetwarzaniu obrazów. Pod tym hasłem kryje się zbiór pozwalających na analizę obrazu i wideo narzędzi, które umożliwiają chociażby modyfikację obrazów, wykrywanie na nich pojedynczych elementów, a nawet śledzenie obiektów ruchomych;
• Framework Metal (dostępny na iOS) - używany jest przede wszystkim przez twórców gier, ale umożliwia również sprawne przygotowywanie aplikacji mobilnych analizujących obraz i korzystających z wspomnianego wcześniej procesora graficznego;
• Cloud Vision API - udostępniana przez Google usługa, która pozwala na automatyzację działań związanych z analizą oraz klasyfikacją treści na obrazach. W praktyce oznacza to automatyczne rozpoznawanie różnego rodzaju elementów (w tym ludzkich twarzy), a także wykrywanie potencjalnie niedozwolonych treści graficznych, czy przetwarzanie widocznych na obrazach tekstów;
• Optical character recognition (OCR) - skoro o tekstach mowa, do rozpoznawania znaków i całych tekstów na obrazie służy oprogramowanie typu OCR. Wykorzystuje ono różne metody segmentacji obrazu, aby wyodrębnić pojedyncze znaki i zaklasyfikować je jako konkretne litery. W tym procesie zwykle korzysta się z sieci neuronowych;
• Głębokie sieci neuronowe - czyli system, którego działanie jest bliskie operacjom wykonywanym przez ludzki mózg. Choć dobrze przygotowany i “wytrenowany” model może dać o wiele więcej możliwości w obszarze rozpoznawania elementów obrazu, wymaga on dostatecznej mocy obliczeniowej, której często nie są w stanie zapewnić urządzenia mobilne (szczególnie z systemem Android).

Choć możliwości przy tworzeniu przetwarzających obraz aplikacji jest wiele, twórcy oprogramowania wciąż borykać muszą się z wieloma ograniczeniami - począwszy od rozdzielczości obrazu i dystorsji beczkowatej obiektywu, po moc procesora i ilość pamięci operacyjnej urządzenia mobilnego. Niemniej, coraz więcej aplikacji z powodzeniem wykorzystuje zaawansowane rozwiązania w dziedzinie przetwarzania i analizy obrazu.

Przykłady aplikacji mobilnych opartych o inteligentną analizę obrazu

Przenośny skaner

Choć możliwość wyodrębniania tekstu ze zdjęć nie wydaje się już niczym nowym, tak wciąż zaskakują aplikacje mobilne pełniące funkcję rozbudowanych skanerów. Dzięki wykorzystaniu technologii OCR, aplikacje tego typu pozwalają na sfotografowanie dowolnego dokumentu, po czym konwertują obraz na tekst i umożliwiają jego edycję.

Przykładem takiej aplikacji jest chociażby Genius Scan. Obraz można zeskanować poprzez wczytanie go z galerii lub zrobienie zdjęcia, a aplikacja automatycznie rozpozna tekst i dokona jego wstępnej obróbki. Możliwa jest także jego samodzielna edycja, nałożenie filtrów i wybór docelowego formatu strony. W przypadku większej ilości skanów, aplikacja pozwala na łatwe ich porządkowanie, usuwanie i określenie pożądanej kolejności stron, a następnie ich eksport do pliku PDF. Całość można zapisać w pamięci urządzenia lub wysłać na adres e-mail w formie załącznika.

Podręczny zestaw do analizy obrazu

Przenośne skanery to dopiero początek możliwości urządzeń mobilnych jeśli chodzi o inteligentną analizę obrazu. Image Analysis Toolset (IAT) identyfikuje na zdjęciach nie tylko tekst, ale także logotypy, kolory, zabytki, kody kreskowe, a nawet znane postaci. Co ciekawe, częściowej analizy obrazu dokonać można także offline. Połączenie z internetem pozwala jednak na znacznie więcej.

Aplikacja jest w stanie rozpoznać wiele różnych elementów. Od tych nieożywionych, przez rośliny i zwierzęta, po ludzkie twarze - w tym wskazując na towarzyszące im emocje. Narzędzie może podać wiele informacji o grafice, a także stwierdzić, czy dane treści mogą zostać uznane za niecenzuralne. Wynik przeprowadzonej analizy obrazu można z łatwością eksportować do pliku tekstowego.

Osobisty sędzia liniowy

Czy aplikacja mobilna jest jednak zdolna wyciągnąć wnioski z przeprowadzonej analizy obrazu? Dzięki zaawansowanym algorytmom - jak najbardziej. Dowodzi temu iChallenge, czyli aplikacja będąca wirtualnym sędzią i rozstrzygająca piłki sporne, podając wynik In/Out wybranego zagrania tenisowego. Wszystko to w oparciu o analizę obrazu.

By uniezależnić się od subiektywnych ocen samych graczy oraz sędziów, powstają zautomatyzowane systemy i urządzenia do śledzenia, nagrywania i odtwarzania położenia piłki tenisowej w stosunku do linii kortu. Dotychczas towarzyszyły one tylko rozgrywkom profesjonalistów, jednak stworzenie aplikacji mobilnej o podobnym działaniu pozwala każdemu graczowi na rozstrzyganie piłek spornych. Po uruchomieniu i poprawnej konfiguracji urządzenia, iChallenge rejestruje przebieg gry. W momencie niejasnej sytuacji, można zatrzymać nagranie, wskazać sporną piłkę i poczekać na werdykt. W tym czasie aplikacja przeanalizuje nagrane wideo, wyznaczy trajektorię lotu piłki i porówna jej finalne położenie z zapamiętanymi przez system granicami kortu lub innymi liniami istotnymi dla danej gry. Na tej podstawie iChallenge stwierdza, czy piłka faktycznie znalazła się poza linią kortu.

Technologie analizy obrazu coraz bardziej się rozwijają

Choć dla komputerów i urządzeń mobilnych obrazy są jedynie zbiorem pikseli, dzięki odpowiedniemu oprogramowaniu mogą zamienić się w rozbudowane narzędzia do analizy i przetwarzania obrazu. Mimo wielu ograniczeń, twórcy oprogramowania coraz częściej podejmują wyzwanie i wykorzystują zaawansowane algorytmy w swoich aplikacjach. Dowodzą temu podane przykłady - w tym stworzona przez nas aplikacja iChallenge.

Zależy Ci na zrealizowaniu podobnego projektu? Możemy w tym pomóc.