🔎 OSINT crawler.
🔎 OSINT crawler.
• Данный материал написан в соавторстве с @mycroftintel
• Что лежит в основе любого поиска информации? Поисковая система? Правильно, она самая. Но что лежит в основе поисковой системы? Простой, но очень важный процесс. Называется он «парсинг». А именно сканирование и сбор данных с информационного ресурса, коим чаще всего является обычный сайт в Интернете. Просто для сведения: когда мы ищем информацию в поисковой системе, мы ищем ее не в Интернете, а в базе данных поисковика, которую он заранее напарсил. Так что не перепутай, Кутузов!
• Всегда ли поисковики хорошо собирают информацию? В большинстве случаев да. Особенно, если перед вами популярный ресурс. На него роботы-сборщики попадают регулярно, ибо чем крупнее ресурс, тем больше дорог на него ведут. Глубоко ли парсит поисковик сайт? Достаточно глубоко, чтобы находить конфиденциальные документы. Такое бывает и не редко. Так что же тебе, собака, надо, если поисковые системы так хорошо все делают, спросите вы? И я вам отвечу, что Интернет больше, чем самый большой Гугл, поэтому часто возникают ситуации, когда поисковая система отработала, но недостаточно хорошо.
• Как говорится, хочешь сделать что-то качественно, сделай это сам. Когда мы проводим глубокий анализ сайтов, то нам нужно провести дополнительные исследования, для которых нужны особые инструменты. Такие, как, например, Photon. Этот маленький негодник соберет вам все ссылки на конкретном сайте, причем как первого, так и второго уровня. Что особенно полезно при сканировании поддоменов. Кроме того, он собирает почты, соцсети, файлы и все, что попадется в его цепкие лапы. Он работает как тот пылесос, в анекдоте про кошечку, которая его сначала очень не любила, но потом-таки втянулась.
• Так что если вам нужен инструмент для глубокого анализа ресурса, то он перед вами. Кстати, он не только сам сканирует сайт, но и ищет информацию по слепкам в Wayback Machine, что бывает очень и очень полезным. Так что, как говорится, настоятельно рекомендую.
• Дополнительную информацию можно найти в группе @mycroftintel
S.E. ▪️ infosec.work ▪️ VT
• Данный материал написан в соавторстве с @mycroftintel
• Что лежит в основе любого поиска информации? Поисковая система? Правильно, она самая. Но что лежит в основе поисковой системы? Простой, но очень важный процесс. Называется он «парсинг». А именно сканирование и сбор данных с информационного ресурса, коим чаще всего является обычный сайт в Интернете. Просто для сведения: когда мы ищем информацию в поисковой системе, мы ищем ее не в Интернете, а в базе данных поисковика, которую он заранее напарсил. Так что не перепутай, Кутузов!
• Всегда ли поисковики хорошо собирают информацию? В большинстве случаев да. Особенно, если перед вами популярный ресурс. На него роботы-сборщики попадают регулярно, ибо чем крупнее ресурс, тем больше дорог на него ведут. Глубоко ли парсит поисковик сайт? Достаточно глубоко, чтобы находить конфиденциальные документы. Такое бывает и не редко. Так что же тебе, собака, надо, если поисковые системы так хорошо все делают, спросите вы? И я вам отвечу, что Интернет больше, чем самый большой Гугл, поэтому часто возникают ситуации, когда поисковая система отработала, но недостаточно хорошо.
• Как говорится, хочешь сделать что-то качественно, сделай это сам. Когда мы проводим глубокий анализ сайтов, то нам нужно провести дополнительные исследования, для которых нужны особые инструменты. Такие, как, например, Photon. Этот маленький негодник соберет вам все ссылки на конкретном сайте, причем как первого, так и второго уровня. Что особенно полезно при сканировании поддоменов. Кроме того, он собирает почты, соцсети, файлы и все, что попадется в его цепкие лапы. Он работает как тот пылесос, в анекдоте про кошечку, которая его сначала очень не любила, но потом-таки втянулась.
• Так что если вам нужен инструмент для глубокого анализа ресурса, то он перед вами. Кстати, он не только сам сканирует сайт, но и ищет информацию по слепкам в Wayback Machine, что бывает очень и очень полезным. Так что, как говорится, настоятельно рекомендую.
• Дополнительную информацию можно найти в группе @mycroftintel
S.E. ▪️ infosec.work ▪️ VT
Канал источник:@Social_engineering