View
7
Download
0
Category
Preview:
Citation preview
© 2014 IBM CorporationMar 05, 2014
Решения Больших Данных (Big Data) от IBM
Игорь Круковский
Information Management Brand ManagerIBM SWG East Europe and Asia
© 2014 IBM Corporation2
1900 1950 2011
Мы вступили в новую эру вычислений. . .
. . . Появились новые возможности
© 2014 IBM Corporation3
Что такое Большие Данные
1969 - Полет человека на луну
64 Kb, 2 Kb RAM, Fortran
2012 — Миссия SkyDive Stratos
Десятки гигабайт
© 2014 IBM Corporation4
Большие Данные = Сырая Нефть
© 2014 IBM Corporation5
Большие Данные ≠ Большой объем данных
Big Data Hadoop
≠
© 2014 IBM Corporation6
Характеристики Больших Данных
Variety:
Velocity:
Volume:
«Разнообразие» Управление сложными данными, разных структур, начиная от реляционных, в журналах, текст и т.д.
«Скорость» Потоковые данные и большой объем данных в движении
«Объем» Масштаб от TB до PB (1K TBs) и даже до Zettabytes (1B TBs)
© 2014 IBM Corporation7
Data Uncertainty
Veracity – Достоверность во главу угла!
VeracityVeracity
© 2014 IBM Corporation8
Большие Данные - разнообразные источники информации
Транзакции и данные
приложений
Машинные данные
Данные из социальных
сетей
Документы
Получение нужной информации извлеченной из всевозможных источников, любого объема, разнообразия и скорости.
Раньше это было просто невозможно!
© 2014 IBM Corporation9
Правительственные Агентства и Большие ДанныеThe IBM Government Point of View
© 2014 IBM Corporation10
Угрозы общественной безопасности
Электронные системы
обслуживания
Ускорение темпов Глоболизации
Прозрачность и подотчетность
Экологические проблемы
Экономические и бюджетные ограничения
Вызовы в различных сегментах правительства
© 2014 IBM Corporation11
Улучшение общественного
порядка и безопасности
Эффективное управление ресурсами
Улучшение здоровья и социальных программ
Укрепление национальной безопасности и обороны
Защитита национальных границ
Задачи в различных сегментах правительства
© 2014 IBM Corporation12
Цель использования Больших ДанныхFrom Sense & Respond, To Predict & Act
© 2014 IBM Corporation13
© 2014 IBM Corporation14
Прогнозироание угроз и предотвращение Прогнозироание
преступлений и предотвращение
Правительственные Агентства и Большие ДанныеThreat Prediction & PreventionCrime Prediction & Prevention
© 2014 IBM Corporation15
Определение аномалий в таможенной информации
Обнаружение тенденций преступлений в момент их
совершения
Модель использует многочисленные переменные для прогнозирования места преступной активности
Как связать данные о преступлениях в разных юрисдикциях?
Как можно предсказать, где преступление
случится?
Как можно определить и минимизировать риск
незаконной деятельности на таможне?
Департамент полиции Мемфиса
Агентство Европейской Таможни и Пограничного Контроля
85,5 млн. евро конфискованных товаров
300 миллионов евро при изъятии запрещенных наркотиков
Прогнозная модель для обнаружения предсказуемых и непредсказуемых аномалий в таможенной информации и информации пограничного контроля
Совместное владение всей информацией
правоохранительных органов
N-DEx: Национальный репозиторий уголовных дел
18,000 участников со стороны правоохранител-ых органов
Каждое управление сотрудничает на основе правовых, юрисдикционных, и конфиденц-ных требованиях
N-DEx активно уведомляет пользователей при обнаружении предопределенных связей
Федеральное бюро расследований
На 30% уменьшилось кол-во тяжких преступлений
На 15% уменьшилось кол-во разбойный нападений
Позволила командирам изменять тактику и перенаправлять патрульные ресурсы
Прогнозирование и Предотвращение Угроз / Преступлений
© 2014 IBM Corporation16
Прогнозирование и Предотвращение Угроз / ПреступленийSupported By The IBM Big Data & Analytics Portfolio
Information Integration & Governance
Enhanced Application
Exploration, landing and
archive
Trusted data
Reporting & interactive analysis
Deep analytics & modeling
All Data Types Real-time processing & analytics
Cables
Watch Lists
Crime Reports
Social data
Images/Video
SIGINT
Insider Threat Detection
Investigative & Case Mgmnt
Pattern of Life Recognition
Real-Time Threat Detection
Operational systems
Information Integration
Data Matching & MDM
Security & Privacy
Lifecycle Management
Metadata & Lineage
Information Sharing & Transparency
Sensor Data
© 2014 IBM Corporation17
Information Integration & Governance
Enhanced Application
Exploration, landing and
archive
Trusted data
Reporting & interactive analysis
Deep analytics & modeling
All Data Types Real-time processing & analytics
Cables
Watch Lists
Crime Reports
Social data
Images/Video
SIGINT
Insider Threat Detection
Investigative & Case Mgmnt
Pattern of Life Recognition
Real-Time Threat Detection
Operational systems
Information Integration
Data Matching & MDM
Security & Privacy
Lifecycle Management
Metadata & Lineage
Information Sharing & Transparency
Sensor Data
Прогнозирование и Предотвращение Угроз / ПреступленийCommon Business Requirements & Entry Points
1
3
4
2
BigInsights Land all data – transactional, structured, unstructured, identity, cyber, etc., for integrated, 360° threat prediction & detection or exploratory analysis
Pure Data for AnalyticsConduct deep, resource-intensive ad-hoc analytics5
Data ExplorerFind, relate, retrieve, & present data from disparate data types and sources, both internal and external, applying security & role-based access rules
6
Streams Analyze event and social media data in-motion for patterns, anomalistic behavior and events to alert on the fly
1
5
3
MDMMatch related data and identities; support policy-based multi-jurisdiction data sharing; build and maintain “gold standard” reference data where authorized
6
4Identity Insight & Global Name Management (GNM)Resolve name variants and non-obvious identities and relationships
8OptimEnforce auditable data lifecycle management and data masking & redaction for security and privacy
7DB2 BLUSupport high-volume, mixed-use queries and reporting against operational data
GuardiumMonitor and enforce access to high-value data; ensure responsible behavior of trusted individuals; encrypt data in place and in transit
9
7
8
2
9
© 2014 IBM Corporation18
Ключевые компоненты платформы IBM:
InfoSphere BigInsights Hadoop-based low latency
analytics for variety and volume
IBM Netezza High Capacity Appliance
Queryable Archive Structured Data
IBM Netezza 1000BI+Ad Hoc
Analytics on Structured Data
IBM Smart Analytics System
Operational Analytics on Structured Data
IBM Informix TimeseriesTime-structured analytics
IBM InfoSphere Warehouse
Large volume structured data analytics
InfoSphere StreamsLow Latency Analytics for
streaming data
MPP Data Warehouse
Stream ComputingInformation Integration
Hadoop
InfoSphere Information Server
High volume data integration and transformation
© 2014 IBM Corporation19
Город в США
Задачи
- Общественная безопасность во время крупных мероприятий (спорт, парады, концерты и т. д.)
- Мониторинг инцидентов в реальном режиме времени, анализ и реагирование
Решение
Используется InfoSphere Streams для мониторинга социальных медиа определенных слов/фраз для отслеживания признаков драк, болезней, интоксикации, настроений подталкивающих к насилию и т.д.
Польза
- Обеспечила необходимой информацией для прогнозирования будущих событий
- Ускорила определение опасных ситуаций
- Ускорила развертывание полицейского и медицинского персонала
19 © 2013 IBM Corporation
© 2014 IBM Corporation20
Recommended