Фильтрация url что это
Доступ к сайтам контролируется URL-фильтром. URL-фильтр позволяет оградить пользователя от посещения нежелательных интернет-ресурсов. Чтобы настроить URL-фильтр, вы можете выбрать отдельные сайты или категории сайтов.
При попытке открыть сайт из списка запрещенных, вы увидите страницу блокировки.
URL-фильтр поддерживает встроенный браузер Android, а также браузеры Google Chrome, Яндекс.Браузер, Microsoft Edge, Firefox, Opera, Adblock Browser, Dolphin Browser, Спутник и Boat Browser.
На главном экране приложения выберите опцию URL-фильтр (см. Рисунок 17 ).
URL-фильтр может запросить доступ к специальным возможностям Android. Доступ необходим для корректной работы URL-фильтра в установленных браузерах. Без доступа URL-фильтр не сможет работать.
Рисунок 17. URL-фильтр
Dr.Web позволяет выбрать определенные категории сайтов, доступ к которым должен быть запрещен. Раскройте список Категории сайтов и выберите нужные категории:
• Сайты для взрослых;
Выбирая эту категорию, вы включаете семейный поиск в поисковых системах Google, Yandex, Bing, Yahoo и Rambler. Это значит, что из результатов поиска будут полностью исключены материалы «для взрослых».
• URL, добавленные по обращению правообладателя;
• Пулы для добычи криптовалют.
По умолчанию URL-фильтр запрещает доступ к сайтам, известным как источники распространения вирусов.
Белый и черный списки
Вы можете составить списки сайтов, доступ к которым разрешается или блокируется вне зависимости от остальных настроек URL-фильтра. По умолчанию списки пусты.
Чтобы добавить сайт в белый или черный список
2. Выберите список, в который вы хотите добавить адрес.
3. Нажмите значок 
в правом нижнем углу окна.
4. Укажите URL сайта в одном из перечисленных форматов:
Вы можете добавить только конкретные URL сайтов, добавление масок или ключевых слов не поддерживается.
Если вы попытаетесь добавить URL, который уже есть в противоположном списке, вам будет предложено переместить его.
Разрешить доступ только к сайтам из белого списка
При работе в режиме централизованной защиты настройки URL-фильтра могут быть изменены или заблокированы в соответствии с политикой безопасности вашей компании или списком оплаченных услуг.
Как мы писали URL-фильтрацию Ростелекому
DPI и блокировка по IP
Начать видимо стоит с DPI. Они в некотором количестве на сети имеются, но поставить их на весь трафик стоило бы РТК несколько десятков миллионов долларов и постоянно требовало бы новых инвестиций в связи с ростом потребления скучающим населением. Ни предыдущие, ни теперешние руководители на такое не решились (возможно лишь пока), потому как никаких новых услуг с осязаемыми объемами доходов внедрение DPI не обещает.
Поскольку блокировать разные ресурсы РТК должен был и раньше (суды вершат без оглядки на законы), то и делал это по IP’ческим адресам. Соответственно, простейшая фильтрация на границах решала проблему. Аналогично стали решать и проблему с реестром запрещенных ресурсов: специально обученный человек выгружал реестр, там есть и URL и IP и дальше добавлял записи в списочек, а скрипт правил access list.
ПО управления фильтрацией
Мы автоматизировали общение с реестром и тут, как всем понятно, магии никакой (ее и дальше то особо нет). Запротоколировали внесение изменений в реестре и реализацию цензуры на сети. Добавили мелкие рюшечки, связанные с распределенной структурой ответственности на сети РТК, исключением из действия фильтра части абонентов (в частности запредельных операторов). Ну и суды никто не отменял, поэтому есть возможность внести любой ресурс из судебного решения. Помимо этого, управляющее ПО настраивает перенаправление трафика на узлы фильтрации, готовит отчеты о поисковых запросах пользователей, мониторит узлы фильтрации и протоколирует все активности.
Поворот трафика и фильтрация
Трафик направляемый абонентами на IP адреса соответсвующие блокированным URL’ам на PE поворачивали в специальный VPN, где defult смотрит на пару рутеров в центре. Используя SCU/DCU (похожая функциональность вроде и на кисках имеется) на границе же исключали по адресам источника трафик от абонентов, фильтрации не подлежащих. Софт управления формировал /32 маршруты по IP адресам реестра, правил конфиг на центральном маршрутизаторе и изменения вступали в силу. От посылки BGP апдейтов, помнится, отказались, потому как нехорошо это.
На двух центральных маршрутизаторах настраивали копирование проходящего трафика уже с учетом портов. Соответственно на весь РТК получалось от силы несколько мегабит. Копировать можно было либо на внешний сервер, либо на MS-DPC. И там и там принцип дальнейшей обработки был одинаков. ПО фильтрации ловит пакет, если в нем get с URL’ом из списка, то в сторону сервера шлем сброс, а в сторону браузера редирект на сайт с рассказом про то, как важны моральные принципы для современного российского общества.
Минимальное время ответа от серверов, входивших в реестр год назад, превышало 100 мс, а софтина, анализирующая URL, выдавала ответ за 5-6 мс при нагрузке в 3 Гб/с. Посему решили, что городить прокси, обеспечивать его надежность и прочее в том же духе смысла не имеет. При сбое ПО фильтрации все будет работать, кроме фильтрации понятно. Правда по просьбе РТК запроектировали все равно по паре серверов фильтрации.
Сейчас понятно, что можно было и чуть проще сделать, использовать маленький DPI в центре вместо своего ПО фильтрации. Но так мы уже другому оператору сделали. Может статься, что выбранные внедренцы скомбинируют свое ПО работы с реестром с обычным DPI, через который пойдет только выбранный трафик. Нам же на тот момент хотелось понять есть ли хоть какая-то задача, которую стоило бы реализовывать на сервисных модулях в маршрутизаторе, а не снаружи. То, что Juniper закрыл для внешних разработчиков доступ к модулям, дает четкий ответ на этот вопрос, но нас тогда еще мучили сомнения.
Что касается стоимости, то из того миллиона, о котором идет речь, больше половины составляли серверы, так что большой прибыли на софте там не планировалось.
Фильтрация url что это
Каждый URL Filter состоит из набора URL правил, количество которых неограничено. URL правило определяет адрес или часть адреса при нахождении которого в адресе WEB-запроса, данный WEB-запрос будет блокироваться. Например, URL Filter c URL правилами:
будет блокировать доступ ко всем сайтам содержащим в своем имени строки microsoft.com или odnoklassniki.ru
Согласно RFC 3986, адрес WEB-запроса состоит из следующих компонент:
TMeter осуществляет поиск на совпадение URL правила в частях hostname (имя хоста) и/или URI-path (URI-путь) WEB-запроса.
Конструирование URL правил
Помимо простых URL правил, состоящих из частей WEB-адресов (таких как microsoft.com или odnoklassniki.ru), в URL правилах разрешается использование некоторых специальных символов, изменяющих логику поиска на успех совпадения.
определяет, что поиск шаблона URL правила должен осуществляться в начале имени хоста или URI-пути (например, ^forum будет генерировать успех для адреса forum.tmeter.ru, однако для адреса www.forum.tmeter.ru работать не будет)
соответствует любой комбинации символов, например forum*.ru
Разрешает (не блокирует) адрес, который будет соответствовать шаблону. Данный символ можно применять только в начале шаблона
Все описанные модификаторы разрешно использовать только один раз в одном URL правиле.
Особенности работы URL фильтрации
URL фильтрация осуществляется в прозрачном режиме (т.е. нет необходимости использовать какой-либо прокси-сервер и специальным образом настраивать браузеры на клиентах). Технология URL фильтрации анализирует каждый TCP пакет на предмет наличия в нем заголовка HTTP-запроса. Если заголовок HTTP-запроса найден в пакете и совпал шаблон URL правила для блокирования сайта, то TMeter формирует ответную HTML-страничку «доступ запрещен» и посылает ее клиенту как бы от имени WEB-сервера. В дополнение, TMeter посылает TCP пакеты с флагом FIN для закрытия TCP-соединения.
Примеры URL фильтров
Запрещает загрузку содержимого с указанных сайтов
Обратите внимание
Фильтрация URL-адресов
Вредоносные программы часто распространяются вредоносными или инфицированными веб-сайтами и используют метод инфицирования, известный как «скрытая загрузка».
Функции фильтрации URL-адресов позволяют защитить машины от угроз, таких как вредоносные программы и угрозы фишинга из Интернета. Чтобы обеспечить защиту организации, заблокируйте доступ пользователей к веб-сайтам, которые могут содержать вредоносное содержимое. В базу данных фильтрации URL-адресов также входят данные о веб-сайтах с недостоверной информацией о COVID-19, мошеннических и фишинговых веб-сайтах. Поэтому такие веб-сайты будут автоматически блокироваться системой при попытке их открыть.
Функция фильтрации URL-адресов позволяет контролировать использование Интернета, чтобы обеспечить соответствие внешним требованиям регулирования и внутренним политикам компании. Можно настроить доступ к веб-сайтам в зависимости от их категории. Функция фильтрации URL-адреса в настоящий момент поддерживает 44 категории веб-сайтов и позволяет управлять доступом к ним.
В настоящий момент подключения HTTP/HTTPS на машинах Windows проверяются агентом защиты.
Для работы функции фильтрации URL-адресов необходимо подключение к Интернету.
В агентах Cyber Protection более поздних версий проблемы с совместимостью разрешены, поэтому URL-фильтрация всегда включена согласно данной политике.
Принципы работы
Пользователь вводит URL-адрес с браузер. Перехватчик получает ссылку и отправляет ее в агент защиты. Агент получает URL-адрес, анализирует его, а затем проверяет решение. Перехватчик перенаправляет пользователя на страницу с сообщением с доступными действиями для перехода к запрашиваемой странице вручную.
Рабочий процесс настройки фильтрации URL-адресов
Как правило, фильтрация URL-адресов настраивается в несколько этапов (перечислены ниже).
Настройки фильтрации URL-адресов
Для модуля фильтрации URL-адресов можно задать указанные ниже настройки.
Доступ к вредоносному веб-сайту
Укажите действие, которое будет выполнятся при открытии пользователем вредоносного веб-сайта:
Категории для фильтрации
Есть 44 категории веб-сайтов, для которых можно настроить доступ:
По умолчанию разрешены все категории.
Показать все уведомление для заблокированных URL-адресов по категориям : если этот параметр включен, вы будете получать все уведомления, показанные на панели задач для заблокированных URL-адресов по категориям. Если веб-сайт имеет несколько поддоменов, система будет генерировать уведомления и для них, поэтому уведомлений может быть больше.
В таблице ниже можно найти описания категории:
| Категория веб-сайта | Описание |
|---|---|
| 1 | В эту категорию входят форумы, доски обсуждений и сайты с вопросами и ответами. В эту категорию не входят особые разделы на веб-сайтах компании, на которых клиенты задают вопросы. |
| 3 | В эту категорию входят персональные веб-сайты, а также блоги всех типов: личные блоги, групповые блоги и даже блоги компании. Блог — это журнал, который публикуется в Интернете. Он сегментирован по отдельным записям (постам), которые обычно отображаются в обратном хронологическом порядке — первым отображается самый недавний пост. |
| 4 | Это широкая категория, в которую входят корпоративные веб-сайты, которые, как правило, не относятся ни к одной другой категории. |
| 5 | В эту категорию входят веб-сайты, на которых предлагается программное обеспечение для компьютеров. Как правило, это программное обеспечение с открытым исходным кодом, бесплатные или условно бесплатные программы. Сюда относятся некоторые онлайн-магазины программного обеспечения. |
| 6 | В эту категорию входят веб-сайты с информацией о культурных мероприятиях и музеях, а также веб-сайты с критическими обзорами и оценками кинофильмов, музыкальных произведений или произведений искусства. |
| 9 | В эту категорию входят веб-сайты для обмена файлами, на которых пользователь может передать файлы и поделиться ими с другими пользователями. В эту категорию также входят веб-сайты, посвященные обмену содержимым в торрент-сетях, а также торрент-трекеры. |
| 10 | В эту категорию входят веб-сайты банковских учреждений, которые предоставляют онлайн-доступ к своим сервисам. Сюда также относятся сайты некоторых кредитных союзов и других финансовых учреждений. При этом сайты некоторых местных банков могут не входить в эту категорию. |
| 11 | В эту категорию входят сайты с азартными играми. Это сайты, относящиеся к категориям «онлайн-казино» или «онлайн-лотерея». Как правило, они требует произвести предоплату перед игрой на деньги в онлайн-рулетку, покер, блек-джек и т. д. Некоторые из этих сайтов работают по правилам, предоставляя реальную возможность выиграть, а некоторые из них являются мошенническими (невозможно выиграть). Сюда также входят веб-сайты с описанием способов заработать деньги на веб-сайтах онлайн-игр и лотерей. |
| 12 | В эту категорию входят веб-сайты правительственных учреждений, включая веб-сайты органов государственной власти, посольств и офисов. |
| 14 | В эту категорию входят веб-сайты, на которых предлагаются инструменты для взлома программ, а также соответствующие статьи и платформы для обсуждений для хакеров. В эту категорию также входят веб-сайты с эксплойтами для основных платформ, которые облегчают взлом аккаунтов Facebook или Gmail. |
| 15 | В эту категорию входят веб-сайты медицинских учреждений, веб-сайты, связанные с профилактикой и лечением заболеваний, а также веб-сайты с информацией о способах избавления от лишнего веса, диетах, стероидных и анаболических препаратах, продуктах гормона роста человека или предложениями соответствующих продуктов. Кроме того, сюда относятся веб-сайты с информацией о пластической хирургии. |
| 17 | В эту категорию входят веб-сайты, в которых освещаются темы досуга: коллекционирование, декоративно-прикладные искусства, езда на велосипеде и т. д. |
| 18 | В эту категорию входят веб-сайты, на которых предлагаются бесплатные или платные службы хостинга для создания и публикации веб-сайтов частными лицами и организациями. |
| 19 | В эту категорию входят веб-сайты, посвященные мгновенному обмену сообщениями и чатам, которые позволяют пользователям общаться в реальном времени. В эту категорию также попадут сайты yahoo.com и gmail.com, поскольку они имеют встроенные службы для мгновенного обмена сообщениями. |
| 21 | В эту категорию входят веб-сайты с досками объявлений о работе, рекламные объявления о трудоустройстве, вакансии, а также агрегаторы подобных сервисов. Сюда не входят сайты рекрутинговых агентств или страницы с вакансиями на сайтах компаний. |
| 22 | В эту категорию входят веб-сайты, автор которых указал, что они содержат материал для совершеннолетних. В эту категорию входит широкий диапазон веб-сайтов — от книги «Камасутра» и материалов о половом воспитании до жестких порнографических сцен. |
| 23 | В эту категорию входят веб-сайты с новостями (текст и видео). Это категория объединяет как глобальные, так и местные новостные сайты. Однако небольшие локальные новостные сайты могут не попасть в нее. |
| 25 | В эту категорию входят веб-сайты, предлагающие сервисы онлайн-платежей. Это популярные платежные веб-сайты, например PayPal или Moneybookers. Кроме того, на основе эвристики определяются веб-страницы на обычных веб-сайтах, которые запрашивают информацию о кредитных картах, что позволяет выявить скрытые, неизвестные или нелегальные онлайн-магазины. |
| 27 | В эту категорию входят веб-сайты обмена фотографиями, главное предназначение которых — предоставить пользователям возможность загружать фотографии и делиться ими. |
| 28 | В эту категорию входят веб-сайты онлайн-магазинов. Веб-сайт считается онлайн-магазином, если на нем продаются товары или услуги. |
| 29 | В эту категорию входят веб-сайты с материалами эротического или порнографического характера. Сюда входят как платные, так и бесплатные веб-сайты. В эту категорию входят вебсайты, которые предоставляют картинки, рассказы и видео порнографического характера. Кроме того, порнографическое содержимое выявляется на веб-сайтах со смешанным содержимым. |
| 30 | В эту категорию входят веб-сайты, которые агрегируют информацию с различных источников и доменов. Как правило, на таких сайтах предлагаются функции поиска, электронной почты, новости и информация развлекательного характера. |
| 31 | В эту категорию входят веб-сайты с сервисами потоковой передачи музыки в Интернете — от онлайн-радиостанций до сервисов, предоставляющих аудио по запросу (как платно, так и бесплатно). |
| 32 | В эту категорию входят веб-сайты, посвященные религиозной тематике или деятельности сект. В эту категорию также входят форумы, посвященные одной или нескольким религиям. |
| 33 | В эту категорию входят веб-сайты поисковых систем, например Google, Yahoo и Bing. |
| 34 | В эту категорию входят веб-сайты соцсетей. Например, MySpace.com, Facebook.com, Bebo.com и т. д. Однако, специализированные социальные сети, например YouTube.com, попадают в категорию «Видео/Фото». |
| 35 | В эту категорию входят веб-сайты спортивной тематики (информация, новости и руководства). |
| 36 | В эту категорию входят веб-сайты, на которых популяризируется суицидальная тематика. В эту категорию не входят веб-сайты клиник, которые занимаются лечением суицидальных настроений. |
| 37 | В основном это веб-сайты с эротическими материалами и светской хроникой. Многие новостные веб-сайты со таблоидным стилем изложения имеют перечисленные здесь подкатегории. Отнесение веб-сайта к этой категории основано на эвристике. |
| 38 | В эту категорию входят веб-сайты, на которых пользователи, как правило, проводят много времени. В эту категорию могут попадать веб-сайты из других категорий, например, социальные сети, развлекательные веб-сайты и т. д. |
| 39 | В эту категорию входят веб-сайты с туристическими предложениями и снаряжением для туризма. Кроме того, это сайты с оценками и обзорами мест, привлекательных для туризма. |
| 40 | В эту категорию входят веб-сайты, которые служат площадкой для размещения различных видео и фотографий, загруженных пользователями или предоставленных другими поставщиками содержимого. Сюда относятся веб-сайты YouTube, Metacafe, Google Video, а также веб-сайты для обмена фото, такие как Picasa или Flickr. Кроме того, выявляются видео, встроенные в другие веб-сайты или блоги. |
| 41 | В эту категорию входят веб-сайты, которые предоставляют функциональность электронной почты через веб-интерфейс. |
| 44 |