История OSINT началась с формирования в декабре 1941 года Службы мониторинга зарубежных трансляций в США для изучения иностранных трансляций. Сотрудники записывали и переводили радио передачи, а затем отправляли в военные ведомства в виде еженедельных отчетов.
Следующем этапом можно назвать период с 2005 по 2009 год, когда в США был создан центр по анализу разведывательных материалов из открытых источников. Доступность интернета и начавшийся бурный рост социальных сетей увеличил количество общедоступной информации.
С 2009 по 2016 продолжается развитие социальных сетей и усиливается их влияние на нашу жизнь. Появляется интернет вещей. Все эти факторы вызвали бурный рост объема информации.
С 2016 года OSINT начинает активно применяться бизнесами, политическими кампаниями, следователями, правоохранительными органами, инвесторами и службами безопасности в их деятельности.
Открытые источники играют ключевую роль
Еще в 1947 году один из аналитиков ЦРУ Кен Шерман сообщил, что порядка 80% информации страна собирает из открытых источников в сети.
Немногим позже руководитель РУМО Соединенных Штатов Самуэль Уилсон рассказал, что 90% данных по разведке также получают из открытых источников, а оставшиеся 10% приходятся на профессиональную работу агентов и шпионов.
Вот такой современный «Джеймс Бонд», заключенный в поисковую строку интернета.
Чем удобен OSINT в работе
- гораздо меньше рисков: вы не нарушаете чью-то приватность и законы;
- дешевле: не нужно дополнительного оборудования и дорогой софт;
- легко получить доступ к актуальной информации, достаточно зайти в интернет;
Сила OSINT – цифровой след
Интернет стал цифровым отображением нашей жизни. Пользователи заводят аккаунты в социальных сетях, оставляют комментарии, делают лайки, репосты, регистрируются на различных сайтах. Эту информацию можно собрать и использовать, например, в рекрутинге.
Ресурсов, где пользователь может оставить о себе информацию, множество:
Почему не Google, а OSINT?
Google не создан для того, чтобы выдавать вам нужный результат. Как только вы начинаете использовать инструменты OSINT вы видите уведомление
Инструменты для OSINT бывают:
- Бесплатные
- Временно бесплатные
- Платные
Пример бота https://t.me/HowToFind_RU_bot, который имеет базу актуальных поисковых инструментов OSINT. Для того, чтобы им воспользоваться нужно оформить платную подписку
Подобных инструментов много.
Основные этапы OSINT
1. Составление плана исследования или определение цели.
2. Подготовка оборудования и программы, необходимые для решения поставленной задачи.
3. Выполнение поиска по всем доступным идентификаторам.
4. Сбор информации.
5. Анализ полученных данных.
6. Подготовка заключения и результатов.
7. Архивирование или очистка оборудования.
Как применяется OSINT в рекрутинге
- Поиск резюме
- Поиск кандидатов
- Поиск контактов
- Сбор информации о кандидате
- Поиск списков кандидатов
Трехшаговая модель сорсинга, которую может освоить каждый
Примеры инструментов OSINT
Поиск тех, кто работает недавно
- site:linkedin.com/in ("at Facebook" OR intitle:Facebook) "present 1..6 months"
- Этой частью ищем тех, кто работает 1-6 месяцев
- Цифры можно менять
- site:linkedin.com/in ("at Facebook" OR intitle:Facebook) "present 1..3 years"
- А так ищем в годах, цифры тоже можно менять
- Ставим ее с оператором intitle:
- site:linkedin.com/in "Spanish native" intitle:Translator "London, United Kingdom"
- Если должность из 2 и более слов – берем в кавычки
- ("looking for a position *" OR "open to" OR "I am seeking new" OR "in search of" OR "seeking for a" OR "seeking job at" OR "I am unemployed" OR "unemployed" OR "new opportunities" OR "new opportunity" OR "new job" OR "available for" OR "seeking role*" OR "seeking work" OR "actively seeking at" OR "seeking full time" OR "seeking opportunity" OR "looking for" OR "открыт к" OR "открыта к" OR "в поиске должности" OR "новых возможностей" OR "новой возможности")
- Больше 32 слов, поэтому предлагаю короткую версию 👇
- site:linkedin.com/in "(open OR looking OR seeking OR открыт OR открыта OR поиске) (job OR to OR for OR new OR к OR для)" "(to OR new OR seeking) (opportunities OR opportunity OR возможностей OR должности)"
- site:linkedin.com/in (developer OR "senior developer") ("relocation to" OR "open * relocation" OR "willing * move" OR "will * relocate" OR "willing * relocate" OR "ready * relocate" OR "able * relocate" OR "ability * relocate" OR "open * relocate") -recruiter -inurl:dir
- site:ua.linkedin.com/in Java Developer "email * * com|net|org|ru|ua|kz|by" -recruiter
- site:ua.linkedin.com/in (📞 OR 📲 OR 📱 OR ☎️ OR ☏ OR ✆ OR ✉️ OR 📩)
Поиск тех, кто предоставляет консультации
site:ua.linkedin.com/in "see all details"
Обычно это первый шаг на пути к поиску работы ;)
Все перечисленные выше запросы строятся на предположениях.
Tilda
например, поиск дизайнеров в Москве
- site:tilda.ws intitle:резюме OR intitle:resume OR intitle:CV OR intitle:vitae OR intitle:"о себе" OR inurl:резюме OR inurl:CV OR inurl:resume дизайнер Москва
- Восходящая звезда
Wordpress
- inurl:/wp-content/uploads/ (CV OR resume OR "curriculum vitae")
OSINT применяется в маркетинге и продажах
- Анализ рынка
- Анализ мнения клиентов
- Сбор информации о конкурентах по их сотрудникам
- Сбор информации о клиенте/потенциальном клиенте
- Генерация лидов
Пример, поиск конкурентов с использованием оператора Related:
Примеры поисковых запросов, если необходимо разместить нативную рекламу
- «ниша/сфера» intext:«партнерский»
- «ниша/сфера» intext:«партнерский» inurl:promo
- «ниша/сфера» intext:«партнерский материал»
- «ниша/сфера» intext: спецпроект inurl:special
- «ниша/сфера» intext:«материал подготовлен при поддержке»
OSINT применяется и в журналистике
- Проведение журналистских расследований
- Сбор фактов
- Факт-чекинг
- Поиск людей
- Поиск контактов
Вот здесь можно почитать журналистам https://www.aware-online.com/en/osint-tutorials/
- Подсчет количества людей на демонстрациях по фото
- Поиск свидетелей с помощью Strava
- Поиск свежих Youtube видео
- Как скачать Twitter видео
- Поиск телеграмм групп по локации
Пример Bellingcat – организация журналистов, которые провели много исследований. Они опубликовали свой набор инструментов для каждого направления
bit.ly/bcattools
По ссылке крупнейшая база бизнеса в мире https://data.occrp.org
Еще одна ссылка в качестве примера https://osintframework.com
А по этой ссылке можно найти пользователя, например по username https://namecheckup.com
Этика OSINT
Я выделяю 5 основных этических принципов, которыми рекомендую руководствоваться в работе с инструментами OSINT:
- Использование в соответствии с законодательством и в легальном поле
- Использование только для решения задач
- Не раскрытие данных, найденных с помощью OSINT
- Не нанесение вреда с помощью OSINT
- Не использование OSINT в преступной деятельности или пособничестве в таковой
Уровни OSINT
- Базовый (Google Dorks) = inurl, site, related, ext, intitle
- Продвинутый = плагины, сервисы, Google CSE
- Глубокий = VM, Python, Linux, Android Emulation, Maltego
- Хакерский = даркнет, инструменты хакинга, IoT (Shodan)
- Социальная инженерия = Кевин Митник
Так выглядит глубокий уровень OSINT
https://habr.com/ru/post/488432/
Сравнение индексаций БД-никнеймов подобных инструментов
Основные направления, по которым осуществляется деятельность OSINT
- Поисковые движки
- Фейсбук
- Твиттер
- Инстаграм
- Другие, включая Linkedin
- Онлайн сообщества
- E-mail адресы
- Никнеймы
- Поиск людей
- Телефонные номера
- Онлайн карты
- Картинки
- Видео
- Адреса сайтов
- IP Адреса
- Государственные реестры
- Виртуальные валюты
- Сливы информации
Какими Soft skills должен обладать человек, работающий с инструментами OSINT:
- Энтузиазм – готовность часами решать проблему;
- Любознательность - постоянное изучение как все работает, как обойти сложности;
- Гибкость – постоянно что-то перестает работать и нужно гибко реагировать на это;
- Непрерывное обучение – регулярно появляются новые знания и инструменты, нужна готовность их изучать;
- Экспериментирование – готовность пробовать новые подходы, готовность к тому, что сработавшее у других, может не сработать у вас.
А вы знаете:
- Как искать только по файлам PDF?
- Как отобразить только данные за 2019 год?
- Как искать только среди сайтов зоны .ua или .by?
- Как найти сайты, в адресе которых есть слово ”resume”?
- Как найти все сайты со словом «резюме», но без слова «образец»?
- Как найти все PDF файлы на сайте mail.ru?
- Как найти в Linkedin тех, кто не работает сейчас?
Владея арсеналом инструментов OSINT, вы сразу войдете в ТОП 5% своей профессии и сможете зарабатывать больше.
Курс для профессионального изучения инструментов OSINT по ссылке https://pritula.academy/osint
А для тех, кто любит почитать, предлагаю ссылки на полезные ресурсы:
