Подготовка идентификационных данных
1. Авторизуйтесь в объектном хранилище Cloud4Y:
https://cmc.objstor.cloud4u.com:8443/
2. Для работы и настройки различных утилит нам необходимо узнать наши Secret Key и Access Key ID, S3 Endpoint их можно узнать в Cloudian Managment Console(рис.1):
https://cmc.objstor.cloud4u.com:8443/Cloudian/security.htm
Данные параметры указаны в настройках профиля - security credentials в веб-интерфейсе объектного хранилища Cloudian
Рисунок 1. Cloudian Managment Console - security credentials. На данной страницу Вы можете увидеть ваш Access Key ID и Secret Key (При нажатие View Secret Key - отобразится дополнительное всплывающее окно с необходимым Вам ключом)
Рисунок 1.1. Информация в панели Cloudian Managment Console - security credentials для S3 ENDPOINT
S3FS
— программа для Linux и macOS, позволяющая монтировать бакеты Object Storage через FUSE (https://github.com/s3fs-fuse/s3fs-fuse).
Примечание:
Производительность s3fs зависит от производительности локального диска. Используйте высокопроизводительные диски, особенно если вы храните много маленьких (сотни килобайт и меньше) файлов.
Установка Ubuntu/Debian.
1. Для установки s3fs в терминале используем команду:
> sudo apt install s3fs
Настройка
2. Для настройки s3fs сохраните идентификатор ключа и секретный ключ в файле ~/.passwd-s3fs в формате:
<ACCESS KEY ID>:<SECRET KEY>, а также ограничьте доступ к файлу ~/.passwd-s3fs следующим образом:
> echo <ACCESS KEY ID>:<SECRET KEY> > ~/.passwd-s3fs
> chmod 600 ~/.passwd-s3fs
Монтирование бакета
3. Выберите каталог, в который вы будете монтировать бакет, и убедитесь, что у вас достаточно прав для операции монтирования.
3.1. Выполните команду вида:
> s3fs <наименование бакета> /mnt/<путь к вашему каталогу> -o passwd_file=$HOME/.passwd-s3fs -o url=http://s3.objstor.cloud4u.com -o use_path_request_style
4. Можно настроить монтирование бакета при запуске системы, для этого добавьте в файл /etc/fstab строку вида:
> s3fs#<наименование бакета> /mnt/<путь к папке> fuse_netdev,allow_other,use_path_request_style,url=http://s3.objstor.cloud4u.com,passwd_file=/home/<имя пользователя>/.passwd-s3fs 0 0
Теперь вы можете работать с объектным хранилищем непосредственно, как с файлообменником:
копируя, удаляя и добавляя файлы в текущий бакет используя для этого стандартные команды в терминале.
S3CMD
— бесплатный инструмент командной строки для работы с данными, расположенными в хранилище S3. Утилита написана на языке программирования python, и благодаря этому может использоваться в операционных системах и Windows, и Linux. (https://s3tools.org/download)
Установка Ubuntu
1. Для установки S3CMD (ubuntu) в терминале используем команды:
> wget -O- -q http://s3tools.org/repo/deb-all/stable/s3tools.key | sudo apt-key add -
> sudo wget -O/etc/apt/sources.list.d/s3tools.list http://s3tools.org/repo/deb-all/stable/s3tools.list
> sudo apt-get update && sudo apt-get install s3cmd
Настройка
2. После установки S3CMD необходимо настроить файл конфигурации для подключения:
> s3cmd --configure
Access Key: <Указываем ваш ACCESS KEY ID>
Secret Key: <Указываем ваш SECRET KEY>
Default Region [US]: <msk>
Encryption password is used to protect your files from reading
by unauthorized persons while in transfer to S3
Encryption password: <Нажимаем Enter>
Path to GPG program [/usr/bin/gpg]: <Нажимаем Enter>When using secure HTTPS protocol all communication with Amazon S3
servers is protected from 3rd party eavesdropping. This method is
slower than plain HTTP, and can only be proxied with Python 2.7 or newer
Use HTTPS protocol [No]: <Нажимаем Enter>On some networks all internet access must go through a HTTP proxy.
Try setting it here if you can't connect to S3 directly
HTTP Proxy server name: <Нажимаем Enter>
3. Открываем файл конфигурации через nano:На этом настройка конфигурации не заканчивается, необходимо поправить в файле конфигурации следующее:
> nano .s3cfg
Поправляем следующие параметры:
cloudfront_host = s3.objstor.cloud4u.com
host_base = s3.objstor.cloud4u.com
host_bucket = %(bucket)s.s3.objstor.cloud4u.com
simpledb_host = s3.objstor.cloud4u.com
website_endpoint = http://%(bucket)s.s3.objstor.cloud4u.com/
4. После повторного реконфигурирования файла, вы можете проверить доступность соединения с объектным хранилищем.
Примеры операций
Получить список бакетов
> s3cmd ls
Создать бакет
> s3cmd mb s3://<наименование бакета>
Получить список объектов
> s3cmd ls s3://<наименование бакета>
Получить объект
> s3cmd get s3://<наименование бакета>/<наименование объекта>
Удалить объект
> s3cmd del s3://<наименование бакета>/<наименование объекта>
Duplicati
- клиент-серверное программное обеспечение для резервного копирования под Linux, MacOS и Windows, распространяемое по свободной лицензии.
Рассмотрим настройку бэкапа между локальным хранилищем и объектным хранилищем S3 Cloud4Y на Windows.
Установка
1. Загрузить установщик MSI Duplicati для Windows (64-разрядная версия).
1.1. Запустить загруженный установщик MSI и следовать инструкциям на экране.
Рисунок. 2 Меню управления Duplicati
Настройка
2. После установки откроется веб-интерфейс, в противном случае, если этого не произошло, перейдите по ссылке в веб-браузере:
http://localhost:8200/ngax/index.html#
3. В веб-интерфейсе выберете в меню управления слева: Добавить резервную копию. (рис. 2)
Откроется окно выбора при создании резервного копирования: выберем "Настройка нового резервного копирования".
рис. 3 Окно параметра настроек резервного копирования
3.1. Задайте имя процесса резервного копирования, описание данного процесса, а также кодовую фразу.
4. Следующее окно наиболее интересно с точки зрения организации подключения:
рис. 4 Окно параметра настроек резервного копирования
Задаем параметры:
- Тип хранилища: S3 compatible
- Пользовательский URL: s3.objstor.cloud4y.ru
- Имя блока: Задайте наименование бэкап-бакета, который будет создан при процессе резирвирвоания
- Регион создания блока: msk
- Путь к папке: Укажите путь к каталогу бэкапа внутри бакета
- Укажите Access Key и Secret Key
5. В следующем окне настроек укажите локальный каталог, что именно вы хотите бэкапировать в объектное хранилище.
6. Задайте настройки расписания и параметры размеров файлов резервных копий, а также то, что делать с предыдущими бэкапами.
7. После того, как все процедуры настроек будут выполнены на "Главной" странице (рис. 5), будет добавлено Ваше подключение к s3 хранилищу для создания бэкапов, обратите внимание, что файлы, загружаемые в s3 хранилище имеют формат: *dblock.zip.aes
(При восстановление файлы возвращают прежнее разрешение на локальном хранилище).
рис. 5 Главное меню веб-интерфейса управления Duplicati
Более подробно с работой duplicati вы можете ознакомиться по ссылке: https://duplicati.readthedocs.io/en/latest/
Handy backup
- резервное копирование с использованием Handy Backup позволяет как сохранять данные с облачного аккаунта на другой носитель, так и пользоваться облаком в качестве хранилища резервных копий в операционной системе Windows.
Установка
1. Загрузить установщик MSI Handy Backup для Windows (64-разрядная версия).
1.1. Запустить загруженный установщик MSI и следовать инструкциям на экране. После установки вы попадете в панель управления Handy Backup. (рис.6)
рис. 6 Окно интерфейса управления Handy Backup
Настройка
2.1. Нажмите "Создать" ->
2.2. В появившемся окне выберите "Создать резервную копию" -> "Далее"
2.3. В следующем окне выберите что и откуда необходимо резервировать (локальной, ftp или любые другие хранилища между которыми необходимо установить связь) : "необходимое хранилище" (рис. 7)
рис. 7 Настройка подключения к объектному хранилищу и резервированию данных.
Выбор объектов для резервирования.
2.4. "Далее" -> в следующем окне необходимо настроить соединения с объектным хранилищем S3 Cloud4Y:
нажмите на "S3 Cloud" , в появившемся окне нажмите "Создать подключение" -> в окне настроек подключения нам необходимо указать уже привычные: access key, secret key, endpoint. (рис. 8, 8.1)
рис. 8, 8.1 Настройка подключения к объектному хранилищу и резервированию данных.
Выбор хранилища для резервных копий.
2.5. "Далее" -> в следующих окнах вы можете установить параметры сжатия и шифрования, а также настроить параметры расписания бэкапа.
2.6. После будет создана задача на резервное копирование между хранилищами по заданному расписанию. Также, при необходимости срочного бэкапа вы можете запустить процесс вручную в любой момент. (рис. 9)
рис. 9 Интерфейс управления резервным копированием между хранилищами.
Более подробно с функционалом и возможностями программы можно ознакомиться по ссылке: "Руководство пользователя"
S3BROWSER
- это бесплатный клиент Windows для Amazon S3 и Amazon CloudFront. S3 предоставляет простой интерфейс веб-сервисов, который можно использовать для хранения и извлечения любого объема данных в любое время.
Приятный и простой GUI-клиент для работы с S3 хранилищем под Windows.
Установка
1. Загрузить установщик MSI S3Browser для Windows.
1.1. Запустить загруженный установщик MSI и следовать инструкциям на экране.
2. После запуска S3Browser необходимо выполнить настройки соединения к объектному хранилищу. (рис. 10)
2.1. Нажмите Accounts -> Add new account (Ctrl+Shift+N), используя ранее полученные вами: Secret Key, Access Key ID, Endpoint (в данном случае REST Endpoint: s3.objstor.cloud4u.com).
Измените Account Type: S3 Compatible Storage
рис. 10 Добавление нового соединения в S3Browser
2.2. Нажмите "advanced S3-compatible storage settings" - в появившемся окне необходимо указать регион: msk (рис. 11)
рис. 11 Дополнительные настройки advanced S3-compatible storage
3. Нажмите "Add new account".
4. После добавление произойдет автоматическое подключение и Вам отобразятся существующие бакеты, каталоги и файлы. (рис. 12)
Вы можете из окна создавать, удалять, изменять, назначать политики доступа, создавать учетные записи пользователей.
рис. 12 Интерфейс S3 Browser'a для управления объектным хранилищем.
