Установка s3cmd

На CentOS/RHEL:

yum install s3cmd

На Ubuntu/Debian:

apt-get install s3cmd

Установка последней версии из исходников:

Настройка файла конфигурации

Для подключения к объектному хранилищу с помощью утилиты s3cmd, необходимо настроить файл конфигурации. По умолчанию данный файл имеет название .s3cfg и создается в домашней директории пользователя. Создание и настройка файла конфигурации выполняется с помощью следующей команды:

s3cmd —configure

Настройка выполняется в интерактивном режиме:

Добавление ключей доступа

Access Key и Secret Key пользователя можно получить в панели управления объектного хранилища c помощью нашей инструкции.

Регион не имеет значения и его можно оставить по умолчанию.

Настройка конечной точки и шаблона для доступа к контейнерам

Для тарифов «Универсальное» и «Холодное» в качестве конечной точки S3 необходимо указать значение object.pscloud.io, а для тарифа «Архивное» — archive.pscloud.io. Шаблон для доступа к контейнерам указывается в следующем формате: %(bucket)s.object.pscloud.io или %(bucket)s.archive.pscloud.io

Опционально: настройка пароля шифрования

В отличии от протокола HTTPS, который защищает файлы только во время передачи, шифрование GPG не позволяет другим пользователям читать файлы как при передаче, так и во время их хранения в объектном хранилище.

Если пароль установлен, то для включения шифрования необходимо добавить флаг -e к команде put при копировании объекта в хранилище.

Подключение по HTTPS

При настройке будет предложено включить импользование HTTPS, для защиты данных во время передачи.

Опционально: настройка прокси-сервера

При необходимости можно настроить параметры прокси-сервера. Если же он не используется, оставляем поля пустыми и продолжаем настройку.

Проверка и подтверждение параметров

Кроме основного файла конфигурации, можно использовать и дополнительные, при этом при выполнении команд s3cmd необходимо указывать ключ -c и путь к дополнительному файлу конфигурации: -c /path/to/config/file

Существует ситуация когда вам нужно загрузить файл большого объема (от 15 Мб до 100 Гб), чтобы передать его другому пользователю. В таком случае не работает отправка как вложение email, а отправка, к примеру в Skype может быть затруднена прерыванием скачивания, или пользователь может быть не онлайн.

В таком случае есть удобные бесплатные сервисы для хранения и передачи файлов.

Смысл сервиса очень прост, вы загружаете файл в «Облако» и вам дается ссылка на ваш файл. Эту ссылку вы передаете нужному человеку, и он может без авторизации и ввода паролей скачать этот файл в удобное ему время.

Если нужно скрыть передаваемую информацию от случайных посторонних глаз, файлы можно архивировать любым архиватором (WinRAR, ZIP или 7z) с указанием пароля на архив.

Рассмотрим четыре, их на самом деле гораздо больше, сервиса по хранению и передачи файлов.

• Яндекс.Диск
• Облако Mail.ru
• Google Drive
• DropBox

Скачать чек-лист по запуску магазина

Яндекс.Диск

Ссылка на регистрацию: https://disk.yandex.ru/

Сервис дает 20 Гб (двадцать гигабайт) пространства. После регистрации вы можете загружать файлы.

Процесс прост:

1) Загружаете файл, нажав на кнопку «Загрузить» в необходимой папке. (рис 1)

Рисунок 1

2) Далее, вы видите процесс загрузки, по завершении нажмите на кнопку «поделиться» (рис 2)

Рисунок 2.

3) Во всплывающем окне включите переключитель и скопируйте ссылку, также можете поделить одним из доступых способ через соц.сети (рис 3)

Рисунок 3.

Полученная ссылка — это и есть ссылка на файл. Вы можете ей делиться. Готово.

Облако Mail.ru

Ссылка на регистрацию: https://cloud.mail.ru/

Сервис дает 8 Гб (восемь гигабайт) пространства. После регистрации вы можете загружать файлы.

Процесс прост:

1) Нажмите на кнопку «Загрузить» и в открывшееся окно, путём перетаксивания файла в определённую область, загрузите файлы. (рис.4)

Рисунок 4.

2) Далее, вы видите процесс загрузки, по завершении нажмите на переключатель (иконка ссылки) чтобы получить ссылку. (рис 5)

Рисунок 5.

Полученная ссылка — это и есть ссылка на файл. Вы можете ей делиться. Готово.

Google Drive

Ссылка на регистрацию: https://drive.google.com

Сервис дает 15 Гб (пятнадцать гигабайт) пространства. После регистрации вы можете загружать файлы.

Процесс прост:

1) Нажимаем кнопку «Создать» (рис.6), во всплывающем окне выбираем «загрузить файлы» (рис.7)

Рисунок 6.

Рисунок 7.

2) Далее, вы видите процесс загрузки, по завершении нажмите на файле правой кнопкой мыши, чтобы открыть меню, выберите пункт «Открыть доступ» (рис. 8)

Рисунок 8.

3) В открывшемся окне можете добавить email людей, кому хотите открыть доступ, либо нажмите на иконку ссылки, чтобы получить ссылку на файл (рис.9).

Рисунок 9.

Полученная ссылка — это и есть ссылка на файл. Вы можете ей делиться. Готово.

Ссылка на регистрацию: https://www.dropbox.com/

Сервис дает 2 Гб (два гигабайта) пространства. После регистрации вы можете загружать файлы.

Процесс прост:

1) Авторизуетесь на сайте, далее на странице нажмите на иконку «Загрузить…» (рис 8)

Рисунок 10.

2) После загрузки, выделите нужный файл и нажмите «Поделиться» (рис.11)

Рисунок 11.

3) В открывшемся окне нажмите «создать ссылку» (рис.12).

Рисунок 12.

4) Далее нажмите на «копировать ссылку» (рис.13).

Рисунок 13.

Полученная ссылка — это и есть ссылка на файл. Вы можете ей делиться. Готово.

Скачать чек-лист по запуску магазина

Общие принципы и технологии облачной инфраструктуры

Что такое облачное хранение данных

Внешние системы хранения данных за свою историю сильно изменились. Гибкие магнитные диски, DVD-диски, внешние жесткие диски, USB-накопители – все эти технологии быстро совершенствовались и менялись вместе с аппаратной базой компьютеров.

Наступило время цифровизации и виртуализации. Это означает, что от оборудования происходит переход к функциям. Когда мы используем услугу каршеринга, это означает, что вместо собственной «аппаратной» машины мы, фактически, используем ее функцию – «ехать». При этом, конечно, мы садимся в реальную машину с брендом компании каршеринга на кузове, но после использования мы отправляем ее обратно в «облако» каршеринга, и не заботимся о том, кто будет использовать ее дальше. Преимущества каршеринга перед обладанием собственных «колес» очевидны. Не нужно платить за парковку, за бензин, запчасти, мойку и ТО – мы платим только за время использования услуги. Недостатки тоже есть: возможно, поблизости нет свободной машины, больше времени нужно на ее поиск и аренду, отсутствие стопки любимых музыкальных дисков, которые мы привыкли возить в бардачке (собственно, это не такая уж большая проблема – музыку мы тоже все больше берем «из облака»).

Точно также облачное хранилище – это виртуализация вашей собственной системы хранения. В облаке ваши данные также хранятся на каком-то оборудовании. Но вам неинтересно, на каком именно («ехать, а не шашечки»): вы просто отправляете данные в «облако». Причем даже интерфейс облачной системы хранения может быть очень похож на обычный файловый менеджер на вашем компьютере.

Пример интерфейса облачного хранилища Google

Как работает облачное хранилище

Вне зависимости от типа системы облачной системы хранения: внутренней (частной, private) или внешней (public, публичной) – принцип их работы следующий. Провайдер облачных услуг, или просто «облака» (частного или публичного), предоставляет свои ИТ-инфраструктуру, которая обеспечивает надежное и безопасное управление нужными серверами для хранения данных.

Публичное облако – это виртуализированная система хранения, услуги которой предоставляет внешний провайдер. В его дата-центре хранятся данные многих клиентов, на условиях «многоарендности» (multi-tenancy), без взаимного влияния друг на друга. За счет оптимального и централизованного использования ресурсов удается достичь ценовой эффективности.

Частное облако: виртуализированная система хранения, организуемая в масштабах предприятия. В ней имеется выделенный дата-центр (ЦОД), в виртуализированной инфраструктуре которого хранятся данные и работают приложения предприятия. В этом случае роль провайдера облачных услуг чаще всего выполняет ИТ-служба предприятия.

Серверы частного или публичного облака работают не как независимые системы внутри структуры облачного хранилища, а как единая группа серверов. Для этой цели дисковое пространство вместе с другими компонентами сервера (например, CPU или оперативной памятью) виртуализируется с использованием гипервизоров. Поверх гипервизора будут работать уже не физические серверы, CPU и накопители данных, а виртуальные серверы. А в них – виртуальные машины VM (Virtual Machine), которые с точки зрения функционала аналогичны физическим устройствам. Но они обладают замечательным свойством: могут адаптироваться под конкретные требования, могут быстро мигрировать между физическими серверами и даже дата-центрами.

При этом между реальным оборудованием и виртуальными функциями хранения (Virtual Storage) возникает некий уровень абстрагирования, на котором работает монитор виртуальных машин VMM (Virtual Machine Monitor), который еще называют гипервизором (Hypervisor).

Что делает гипервизор

Гипервизоры бывают двух типов:

1. Программное обеспечение для виртуализации «кладется» непосредственно на физическое серверное оборудование и не требует для своей работы предварительно установленной на нем операционной системы. Это, например, популярный гипервизор vSphere от компании VMware.
2. ПО виртуализации требует полнофункциональной операционной системы, установленной на физический сервер. Примером такой системы может быть VM VirtualBox от компании Oracle.

В обоих случаях виртуализация обеспечивает гибкость функций, легкость масштабирования и простоту изменений.

Если сравнивать с тем же каршерингом: если нам нужно просто попасть из точки А в точку Б, то мы заказываем скромный седанчик. Если нам важно произвести впечатление, то можно заказать, например, автомобиль бизнес- или представительского класса. А если нужно вывезти на дачу мебель, можно заказать каршеринг-микроавтобус. И все это можно получить на едином аккаунте у провайдера услуг каршеринга, который быстро предоставляет нам именно ту «функцию-автомобиль» такого класса, который нам нужен.

Структура облачных систем хранения

Для доступа к виртуальному хранилищу в облаке обычно требуется соответствующее программное обеспечение. Услуги публичного облака обычно содержат не только веб-приложение, которым можно пользоваться через обычный браузер, но также драйверы доступа от различных устройств. С их помощью можно залогиниться и получить доступ к своему диску в облаке. Сохраненные там файлы можно извлечь через различные устройства (компьютер, планшет, смартфон и пр.), поддержка которых обеспечивается облачным провайдером.

Для частного облачного хранилища обычно требуется соединение с сервером VPN через соответствующую корпоративную сеть (Интранет), либо с помощью услуги виртуальной частной сети VPN (Virtual Private Network) через публичный Интернет. В последнее время появилась возможность использования для этой цели технологии SD-WAN (программно-конфигурируемой глобальной сети), но пока эта технология еще не достигла стадии зрелости.

Облачные провайдеры, в своей внутренней инфраструктуре хранения, кроме обычного файлового хранилища (File Storage), могут использовать альтернативные виды форматов: блочное хранилище (Block Storage) и объектное хранилище (Object Storage).

Вне зависимости от используемого формата хранения данных (File/ Block/ Object Storage) облачные провайдеры могут использовать в физическом оборудовании либо жесткие диски HDD, либо твердотельные диски SSD. Последние характеризуются более высокой скоростью записи и считывания данных внутри инфраструктуры облачного провайдера (заметим, что могут быть задержки в сети доступа). Но они пока более дорогие, чем классические HDD.

Благодаря виртуализации можно одновременно использовать оба типа дисков. Например, т. н. «горячие» данные – то есть те, к которым чаще обращаются, можно размещать на SSD. Как только обращения к каким-то данным становятся реже, их можно перевести в разряд «холодных» и перенести в HDD, поглубже в систему.

В этом и состоит одно из преимуществ облачного хранения: если то же самое делать внутри собственной системы хранения предприятия, нужно строить соответствующую архитектуру, применять соответствующие программные менеджеры, занимающиеся сортировкой данных и размещением их либо в SSD, либо в HDD. Эффективно это можно сделать только в масштабах крупного предприятия. Для небольших компаний это не всегда выгодно, из-за чего возможен нерациональный расход ресурсов и неэффективное хранение данных.

Преимущества облачного хранилища

Есть много причин, по которым целесообразно организовывать хранение данных во внешнем облаке.

Прежде всего, это экономия средств на приобретение и обслуживание собственного серверного оборудования для хранения. Существует расхожее мнение, что облачные услуги ничуть не дешевле – или даже дороже, чем собственные системы хранения (on-premise).

Чтобы сравнить стоимость обоих вариантов, не следует проводить расчеты «в лоб», ориентируясь только на стоимость «железа» и услуг облачного провайдера. Необходимо провести тщательный анализ совокупной стоимости владения или стоимости жизненного цикла, ТСО (Total Cost of Ownership).

ТСО – это общая величина целевых затрат с момента начала владения до завершения владения, а также полного объема затрат, связанных с владением.

Трудности эксплуатации и аварии – преобладающая часть «непрямых расходов» ТСО (фото: habr.com)

Однако при выборе облачного хранения вся ответственность за нижележащую инфраструктуру лежит на облачном провайдере – это важно учитывать при оценке стоимости его услуг.

Преимуществом облачного хранения является и то, что оригинал и резервная копия данных (резервирование надо делать обязательно) будут находиться в разных географических местах. Это защищает данные в случае различных непредвиденных ситуаций, которые обычно происходят в самый неподходящий момент: взлом системы, пожар, отказ оборудования.

Другие преимущества облачного хранения:

Гибкость. Это возможность потреблять ровно такой объем хранилища, который нужен в данный момент. Если нужно больше, провайдер предоставляет больше – и плата растет. Если нужно меньше, провайдер предоставляет меньше, а плата снижается. В собственной же системе необходимо всегда иметь максимальную емкость на случай всплесков трафика. В обычном режиме избыточная емкость простаивает. Если емкость, что называется, «под завязку», это отрицательно сказывается на быстродействии. В облаке этих проблем нет.

Масштабирование. Виртуализация хранилища позволяет выбирать требуемый объем хранилища по контракту. В любое время можно увеличить либо уменьшить объем хранилища без закупок оборудования, его установки и наладки.

Доступность: облачное хранилище доступно в любое время и с любого устройства (при наличии нормального Интернета). Поэтому получать данные можно «на ходу», там, где они нужны в тот или иной момент.

Недостатки облачного хранилища

Облачное хранилище во многих случаях может стать хорошей альтернативой традиционным решениям по хранению в корпоративной системе (on-premise). Однако, во многих случаях резервирование файлов в облаке имеет некоторые минусы.

Прежде всего, это зависимость от Интернет-соединения. Если оно нарушается, файлы в облаке становятся недоступными. Важным фактором остается доступная полоса пропускания: даже при самом быстродействующем хранилище доступ к данным будет медленным из-за низкой скорости соединения. Особенно это касается мобильных сетей.

Кроме того, есть и другие недостатки.

Зависимость от провайдера. Если у провайдера происходят какие-то проблемы, или он волюнтаристски меняет условия контракта, заказчик может поменять провайдера, но это процесс не одномоментный.

Безопасность. Пересылка данных за файерволл корпоративной сети – это всегда риск. Не все провайдеры предоставляют услугу шифрования хранимых данных. Несмотря на то, что хорошие провайдеры всегда стараются обеспечить высший уровень безопасности своих систем, инфраструктура провайдера – желанная цель для атак хакеров.

Защита данных. Как данные будут защищены в инфраструктуре провайдера – основной вопрос, который необходимо выяснить при заключении контракта на облачное хранение данных. Это, однако, «палка о двух концах», похожая на вечный спор о том, где лучше хранить деньги – в банке или дома в сейфе. И там, и там их могут украсть. Однако не подлежит сомнению, что, в целом, банк может обеспечить более высокую степень защиты средств своих вкладчиков. Однако, в отличие от денежной аналогии, компрометация информации, хранящейся у провайдера – это невосполнимый ущерб для клиента облачной услуги: при похищении денег клиента банк, в принципе, способен компенсировать этот ущерб.

Компромисс – гибридное облако

При выборе между частным и публичным облаком, всегда нужно делать тщательный анализ TCO. Затраты оборудование, лицензии на ПО, на оплату труда ИТ-специалистов и пр. – это т. н. «прямые» или «бюджетные» расходы.

Однако есть и «неявные», скрытые затраты: на содержание собственной ИТ-инфраструктуры, затраты и потери, связанные с ее ненадежной работой и пр. Такие затраты называются «непрямыми» (indirect). При тщательном анализе TCO можно обнаружить, что «непрямые» расходы превышают «прямые» – иногда в несколько раз!

Прямые и скрытые затраты

Результаты глубокого анализа задач бизнеса, требований к инфраструктуре (доступность, производительность, безопасность) позволяют просчитать ТСО и найти баланс между частным и публичным облаком. Универсального рецепта нет, в некоторых случаях лучшим решением может стать гибридное облако хранения данных.

Гибридное облако, как это видно из самого названия, объединяет в себе плюсы публичного облака (Public Cloud) и частного облака (Private Cloud).

Заметим, что частное облако – это термин, по поводу которого в среде ИТ-специалистов идут незатихающие споры: есть ли такое понятие – частное облако? Или это просто хранилище данных в корпоративной системе.

Будем считать, что если при хранении данных в корпоративной системе (on-premise) используются технологии виртуализации, то такое решение можно с полным правом называть частным облаком. Если же это просто NAS на базе RAID, то это не облако, а корпоративное файловое хранилище.

Проблемы возникают, если емкости частного облака вдруг перестает хватать. Тогда можно перемещать часть данных и приложений в публичное облако, которое будет работать как резерв и средство катастрофоустойчивости.

Многие предприятия при использовании частного облака перемещают некоторые функции в публичное облако, например, используют услугу корпоративной облачной почты, услуг облачного видеонаблюдения и пр. Однако для хранения конфиденциальных и бизнес-критичных данных при этом используется частное облако.

Таким образом, решение гибридного облака сочетает в себе преимущества как частного, так и публичного облака, и может обеспечить такие преимущества, как:

• более высокую степень управляемости;
• хорошую «кастомизируемость», то есть возможность сконфигурировать оптимальное решение;
• экономическую эффективность.

Современные гиперконвергентные системы, например, HPE Simplivity, Dell EMC VxRail, Cisco Hyperflex изначально содержат в себе сервисы, позволяющие разворачивать гибридные облака для решения корпоративных задач. Более подробно об этом расскажем в следующих статьях.

На Gizmodo вышла правильная заметка, о том, что нам вскоре не понадобятся полноценные «десктопные» приложения. Эта интересная тема, вокруг которой мы часто крутились. Ваш браузер – это и есть операционная система, и этот подход во многих случаях стирает грань между конкурентными решениями, macOS и Windows.

Нажмите кнопку «Пуск» на «Винде» или «Док» на «Маке» и подумайте: из всего списка настольных приложений, какие вы используете на самом деле, а главное, какие из них нельзя заменить онлайн-версиями программ в браузере? Конечно, найдётся пара, тройка профессиональных решений, если вы графический дизайнер или видео инженер, но если говорить об обычной повседневной жизни и работе?

Вся жизнь в браузере

Браузеры, в частности вездесущий Chrome, стали отдельным миром, в котором происходит большая часть работы.

Офисные задачи легко, а главное удобно воспроизводятся в Google Docs. Музыка и видео прослушиваются «онлайн» и не приходится ничего скачивать. Лёгкие графические редакторы уже давно работают в браузерах. Чего стоит Google Photo со своими возможностями.

Microsoft и Apple реализовали часть ключевых функций своего софта в облаке. Вы можете сидеть на Mac и использовать Microsoft Office в браузере. Или наоборот, сидя за Windows пользоваться пакетом iWork и iCloud от Apple.

Работа с почтой с лёгкостью выполняется через окно браузера, а учитывая вездесущий Google со своими сервисами, то почта автоматически превращается в ежедневник, календарь и файловое хранилище.

Переписка и общение чаще всего выполняются при помощи отдельных клиентов. Telegram, Skype, Slack и прочие сервисы, все они мультиплатформенные, и к тому же все они имеют веб-версию. Не удивлюсь, если через год использовать плагин для браузера, чтобы переписываться в Telegram, будет проще, чем скачать полноценный клиент на компьютер.

В чем плюс отказа от настольных приложений?

Работа в облаке имеет ряд преимуществ. Главное из них, мобильность и лёгкая смена платформ. В любое время и в любом месте вы подходите к компьютеру и не задумываетесь, на какой ОС он работает. Просто открываете браузер, вводите логин и пароль от своей учётной записи Google и ваша рабочая станция готова.

Уход от настольных приложений, которые служили вам на протяжении десятилетий может показаться безумием, но большинство из нас действительно не нуждается в них, так как мы привыкли находить достойную альтернативу в облаке. Лично я не храню документы, фото и видео на диске своего ноутбука и облаку как-то больше доверяю.

Возможно, стоит составить отдельный текст с подборкой сервисов и программ, которые позволяют с комфортом работать в окне браузера.

Облако Mail.ru для Android – это бесплатный сервис для хранения фото, видео, музыки, презентаций, документов и других файлов. 🏞🎬🎧🗂
Благодаря Облаку Mail.ru все ваши фотографии будут всегда под рукой. Загрузите файлы и фото на ваш облачный диск, и они автоматически станут доступны со всех ваших устройств. 💻📱
* Загружайте фото, видео и файлы с телефона. Настройте автоматическое сохранение на облачный диск в папку Camera Uploads. Для экономии трафика рекомендуем делать загрузку при подключенном Wi-Fi. 📲
* Освободите место на телефоне, ведь все ваши фото и файлы уже есть в Облаке. 📥
* Делитесь файлами, фото и папками с друзьями, знакомыми и коллегами в один клик. 🌇 📁
* Экономьте трафик: вы можете отправить ссылку на фото, видео или документ по SMS, электронной почте, в мессенджер или социальную сеть.📱
* В Облаке Mail.ru для Android можно смотреть фото и видео популярных форматов (в том числе: avi, mkv, mp4, mov, wmv), а так же слушать музыку. Воспроизведение происходит в реальном времени, без предварительного скачивания файла на устройство. Также возможно открыть видеофайл во внешнем плеере.🎬
* Просматривайте документы, а также файлы в других форматах (на некоторых моделях требуется установка дополнительных программ). 🗂 📂
* Управляйте вашими файлами и фото из любой точки мира – переименовывайте, удаляйте, перемещайте их из папки в папку.
* Создавайте общие папки с другими пользователями и вместе добавляйте в них любые файлы. Соберите вместе с друзьями в одну папку все фото с вечеринки или путешествия. Организуйте групповую работу с документами, используя общую папку с коллегами. Сохраняйте вместе с близкими все памятные события в общий семейный альбом. 🖼
* Держите важные файлы в надёжном хранилище! Что бы ни произошло с вашим диском на компьютере или телефоном, все сохраненные в Облаке файлы останутся с вами. 🔐
* В случае необходимости вы можете увеличить объем своего Облака. Список тарифов находится в сайд-баре приложения. 📋
* Приложение Облако Mail.ru доступно для смартфонов и планшетов на базе Android. 📲
* Вам больше не нужны никакие провода, флешки и карты памяти. Все, что нужно — это бесплатное приложение Облако Mail.ru и подключение к интернету.
Приложение протестировано и совместимо с Android версии 5.0 и старше.