Заметки с мастер класса первого занятия. Хаб открытых данных (работаем с CKAN)

     -     Сен 6th, 2013   -     Инструментарий, Материалы занятий   -     1 Comment   -    

  1. Что такое CKAN?

Это продукт с открытым исходным кодом позволяющий вести каталоги открытых данных. Подробнее о нём — http://ckan.org/

Ключевые возможности CKAN:

  • возможность каталогизироватть любого объёма данные;

  • гибкие возможности ведения метаданных;

  • наличие API для доступа к данным и их публикации;

  • открытый исходный код;

  • возможность написания собственных расширений;

  • активное сообщество разработчиков;

  • большое число внедрений – порталы Великобритании, Австралии, Канады и тд.;

  • экспорт данные в RDF.

Подробнее:

  1. Что такое Хаб открытых данных?

Хаб открытых данных (hubofdata.ru) – это общественный каталог открытых данных на базе CKAN поддерживаемый НП “Информационная культура”. В хабе публикуются все доступные открытые данные,  импортируются данные с госпорталов откртых данных и данные создаваемые самостоятельно

  1. Регистрация пользователя

  • Заходим в http://hubofdata.ru/user/register

  • Вводим – логин, ФИО, email, пароль.

  • Получаем письмо с подтверждением.

  • Входим по ссылке — http://hubofdata.ru/user/login

  • Копируем личный “API ключ” (если хотим использовать API)

  1. Публикация данных

Публикуем массив открытых данных:

  • Авторизуемся на портале и заходим на http://hubofdata.ru/dataset;

  • Нажимаем “Добавить пакет”;

  • В форме вводим все данные по пакету – название,  краткое название (slug), тэги;

  • Выбираем лицензию;

  • Укаываем видимость “Общественный”;

  • Нажимаем кнопку “Добавить данные”.

  • Заполняем последовательно карточки каждого ресурса;

  • Заполняем поля мета-данных (дополнительные данные);

  • Сохраняем финальный массив.

Подсказки и советы:

  • для данных привязанных к году указывать его как тэг;

  • использовать как тэг краткое название организации если она есть;

  • обязательно привязывать данные к группе;

  • загружать машиночитаемые данные – CSV, XLS, XLSX, XML, RDF и другие

  1. Используем API

Есть 3 вида API. Полностью публичное и по авторизации.

5.1 Публичное API

 

Получить список всех пакетов в JSON — http://hubofdata.ru/api/3/action/package_list

Получить список всех групп в JSON — http://hubofdata.ru/api/3/action/group_list

Получить список всех тэгов в JSON — http://hubofdata.ru/api/3/action/tag_list

Просмотр индивидуального пакета — http://hubofdata.ru/api/3/action/package_show?id=mchs-orgs

Просмотр пакетов по тэгу — http://hubofdata.ru/api/3/action/tag_show?id=2011

Просмотр пакетов по группе — http://hubofdata.ru/api/3/action/group_show?id=moscow

Поиск (по слову “Москвы”) — http://hubofdata.ru/api/3/action/package_search?q=%D0%BC%D0%BE%D1%81%D0%BA%D0%B2%D1%8B

 

Подробнее на английском языке — http://docs.ckan.org/en/latest/api.html

5.2. API после авторизации

Требует API ключ который необходимо использовать при каждом запросе. Позволяет публиковать данные, управлять тэгами и группами.

Модули для различных языков:

 

Подробнее в описании каждого модуля.

Примеры использования API: https://github.com/infoculture/mosopendata Импорт данных с портала data.mos.ru в хаб открытых данных.

5.3. API в формате RDF

Метаданные по каждому массиву доступны в форматах RDF / Linked Data

Массив данных  (МЧС) — http://hubofdata.ru/dataset/mchs-orgs.rdf

 

А также заметки в файле Google Docs - https://docs.google.com/document/d/1KEzdtmMfht8f2FAac5SJ2Ix28XCQw4MyPvXpdaUVReY/edit?usp=sharing