- [[32309467:index|(Б-38) Платформа великих даних]]
  - [[.|(Б-38) Платформа великих даних]]
======  (Б-38) Платформа великих даних : Загальні відомості про систему  ======
«Великі дані – це сукупність технологій, покликаних здійснювати три операції:
1. Обробляти більші, у порівнянні зі «стандартними» сценаріями, об’єми даних.\\
2. Уміти працювати з даними, що швидко надходять у дуже великих об’ємах. Тобто даних не просто багато, а їх постійно стає все більше й більше.\\
3. Вміти працювати зі структурованими і мало стуктурованими даними паралельно і у різних аспектах.» 
Вважається, що ці «вміння» дозволяють виявляти приховані закономірності, що вислизають від обмеженого людського сприйняття. Це дає безпрецедентні можливості оптимізації багатьох сфер нашого життя: державного управління, медицини, телекомунікацій, фінансів, транспорту, виробництва і так далі.
Основні принципи роботи з великими даними такі:
  * **Горизонтальна масштабованість.** Це — базовий принцип обробки великих данных. Як вже було зазначено, великих даних з кожним днем стає все більше. Відповідно, необхідно збільшувати кількість обчислювальних вузлів, за якими розподіляються ці дані, при чому обробка має відбуватись без погіршення продуктивності 
  * **Відмовостійкість.** Цей принцип витікає з попереднього. Оскільки обчислювальних вузлів у кластері може бути багато (іноді десятки тисяч) та їх кількість, не виключено, буде збільшуватись, зростає ймовірність виходу машин з ладу. Методи роботи з великими даними мають враховувати ймовірність таких ситуацій і передбачати превентивні заходи
  * **Локальність даних.** Оскільки дані розподілені по великій кількості обчислювальних вузлів, то, якщо вони фізично знаходяться на одному сервері, а обробляються на іншому, витрати на передачу даних можуть бути невиправдано великими. Тому обробку даних бажано проводити на тій же машині, на якій вони зберігаються 
\\
**Платформа «Big Data» складається з трьох програмних сервісів АСОП, АДКП та ІП**
**Програмний сервіс «Інформаційні панелі»** надасть можливість відображати достовірну аналітичну та оперативну інформацію по роботі комплексної інформаційно-аналітичної системи управління фінансово-господарською діяльністю в м. Києві.
Створення ПС ІП направлене на досягнення кращих показників управління, а саме:
  * забезпечення консолідації даних різних об’єктів функціонування та даних різних рівнів ієрархії для аналітичного дослідження інформації;
  * забезпечення оперативності та якості реалізації дій за рахунок зручності в отриманні потрібної інформації та гарантованої її актуальності.
ПС АСОП призначено для відображення достовірної аналітичної та оперативної інформації щодо певних аспектів роботи системи АСОП у розрізі даних:
  * Реалізації і використання транспортних продуктів
  * Утримувачів муніципальної картки «Картка киянина» і використання пільгового проїзду.
**ПС АСОП** – це інтегрований предметно-орієнтований інформаційно-телекомунікаційний сервіс, що будується на основі централізованої програмно-технологічної платформи з уніфікацією програмно-технічних засобів розробки прикладної функціональності з використанням сучасних сервісно-орієнтованих технологій.
У межах створення Сервісу використовуватимуться системи «Картка киянина», «АСОП» з метою аналізу інформації в зручному вигляді на веб-порталі. Дані з цих систем будуть надходити до створюваного сховища даних ПС АСОП, що в свою чергу буде включено в єдине інформаційне середовище (програмну платформу) «Big Data».
Основною аудиторією користувачів Сервісу є керівництво і фахівці структурних підрозділів КМДА, державних і комунальних підприємств та організацій, які будуть використовувати Сервіс для забезпечення підтримки прийняття управлінських рішень.
**ПС АДКП** призначено для відображення достовірної аналітичної та оперативної інформації щодо певних аспектів роботи комунальних підприємств та структурних підрозділів КМДА, консолідації даних різних об’єктів функціонування та даних різних рівнів ієрархії на платформі Big Data, публікації таких даних у відкритому доступі для аналітичного дослідження в цілях прийняття оперативних рішень керівниками виконавчих органів КМДА та вільного доступу громадськості до відкритої інформації про діяльність комунальних підприємств та структурних підрозділів КМДА, а також підвищить прозорість звітності.