Сообщество Open Data Science приветствует участников курса!



В рамках курса мы уже познакомились с несколькими ключевыми алгоритмами машинного обучения. Однако перед тем как переходить к более навороченным алгоритмам и подходам, хочется сделать шаг в сторону и поговорить о подготовке данных для обучения модели. Известный принцип garbage in – garbage out на 100% применим к любой задаче машинного обучения; любой опытный аналитик может вспомнить примеры из практики, когда простая модель, обученная на качественно подготовленных данных, показала себя лучше хитроумного ансамбля, построенного на недостаточно чистых данных.



![][1]


[Читать дальше →][2]

[1]: https://habrastorage.org/files/cd7/2d8/d16/cd72d8d16d8f409898546ba5d397240f.jpg
[2]: https://habrahabr.ru/post/325422/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

Наверное, все знают о транзакциях в реляционных базах данных, все слышали про ACID. Но тем не менее есть разница между знать и прочувствовать, сам с этим столкнулся, когда пришлось переквалифицироваться в бэкэнд разработчика. Думаю, в тот момент подобная статья здорово бы мне помогла, надеюсь она окажется полезна и вам.

При разработке энтерпрайз приложений зачастую с базами данных взаимодействуют посредством ORM технологии, в мире джавы наиболее известна технология JPA (Java Persistence API) и её реализации — Hibernate и EclipseLink. JPA позволяет взаимодействовать с базой данных в терминах объектов предметной области, предоставляет кэш, репликацию кэша при наличии кластера в middle tier-е.

Как это обычно происходит:
[Читать дальше →][1]

[1]: https://habrahabr.ru/post/325470/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

Сегодня поговорим о bash-скриптах. Это — [сценарии командной строки][1], написанные для оболочки bash. Существуют и другие оболочки, например — zsh, tcsh, ksh, но мы сосредоточимся на bash. Этот материал предназначен для всех желающих, единственное условие — умение работать в [командной строке][2] Linux.

[![][3]][4]
[Читать дальше →][5]

[1]: https://ru.wikipedia.org/wiki/%D0%A1%D1%86%D0%B5%D0%BD%D0%B0%D1%80%D0%B8%D0%B9_%D0%BA%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D0%BD%D0%BE%D0%B9_%D1%81%D1%82%D1%80%D0%BE%D0%BA%D0%B8
[2]: https://likegeeks.com/main-linux-commands-easy-guide/
[3]: https://habrastorage.org/files/803/892/bfe/803892bfe548499aa763df324d40fd01.png
[4]: https://habrahabr.ru/company/ruvds/blog/325522/
[5]: https://habrahabr.ru/post/325522/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

### Цель работы


В моей статье [1] рассмотрен метод гармонической линеаризации для исследования систем управления, содержащих нелинейные элементы.

Этот метод может быть использован в том случае, когда линейная часть системы является низкочастотным фильтром, т.е. отфильтровывает все возникающие на выходе нелинейного элемента гармонические составляющие, кроме первой гармоники [2]. Поэтому логическим продолжением моей первой статьи будет гармонический анализ рассмотренных нелинейных элементов. Кроме этого нужно рассмотреть аппаратную альтернативу методу гармонической линеаризации. [Читать дальше →][1]

[1]: https://habrahabr.ru/post/325502/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

![][1]


В [предыдущей статье][2] мы описывали принципы разработки видеочата между браузером и Android — устройством. Теперь же попробуем усложнить задачу и заимплементить трехсторонний видеочат на следующих платформах: Google Chrome на десктопе, **Android приложение** на планшете, и **iOS приложение** для Apple iPhone.
[Читать дальше →][3]

[1]: https://habrastorage.org/files/57a/e36/91b/57ae3691b4204dbba9aa8810e014acbd.png
[2]: https://habrahabr.ru/company/flashphoner/blog/324914/
[3]: https://habrahabr.ru/post/325444/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

После появления в стандартной библиотеке С++ умных указателей, проблема управления временем жизни объекта была решена. Можно создавать объекты на стеке, тогда они автоматичести удалятся при выходе из области видимости, либо использовать unique\_ptr для создания объектов с экслюзивным владением или shared\_ptr для совместного владения. Но только для shared\_ptr в стандартной библиотеке существует невладеющий указатель weak\_ptr, который предотвращает использование невалидного указателя. Для остальных случаев используют «старые и опасные» raw pointers.

Как же предлагают решить эту проблему разработчики языка?
[Читать дальше →][1]

[1]: https://habrahabr.ru/post/325494/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

![][1]
Приветствую тебя хабраюзер! Недавно, закончилась ежегодная олимпиада по информационной безопасности UFO CTF 2017. В этой статье будет райтап одного задания из раздела _PPC_, под названием _«King Arthur»_, за который можно было получить максимальное количество очков — 600.
[Читать дальше →][2]

[1]: https://habrastorage.org/files/9ea/6ce/d68/9ea6ced680854d2d9697763a380d8047.png
[2]: https://habrahabr.ru/post/325580/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

Привет, хабражитель! Хочу поделиться с тобой наболевшим опытом, надеюсь, будет полезен. Сегодня расскажу о том, как разрабатывали систему печати документов в корпоративной системе.


### С чего все начиналось


А началось все с разработки ERP-платформы в одной торговой компании примерно 2 года назад. Был выбран Linux, стек С++/Qt, PostgreSql и фронт под web. На C++/Qt был реализован сервер приложений и там же, через прослойку JS интерпретатора писалась бизнес логика. Почему так — это отдельная история, здесь рассмотрим, как разрабатывалась система печати.
[Читать дальше →][1]

[1]: https://habrahabr.ru/post/325586/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

![][1]

Да, дорогой читатель, такое тоже бывает, и может быть вкусно и полезно!

Как ты уже наверняка знаешь, дорогой читатель, существует два способа построения цифровых фильтров. [Читать дальше →][2]

[1]: https://habrastorage.org/files/ea8/b5c/ce6/ea8b5cce6f504a8499d477283b479432.jpg
[2]: https://habrahabr.ru/post/325590/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

![image][1]

У нас в компании для организации и управления доступами для Linux-серверов
используется такой сервис как FreeIPA. FreeIPA — это вполне полноценная замена AD для Linux-систем от RHEL. В новой версии появились уровни доменов и был переработан процесс настройки репликации. Так как инструкций вменяемого вида в рунете найти не удалось, я решил написать собственную. [Читать дальше →][2]

[1]: https://habrastorage.org/files/f40/ab2/778/f40ab27786c743f48ba5985ea724d212.jpg
[2]: https://habrahabr.ru/post/325546/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

![][1]


В мае 2016 года немецкая компания Crytek решила опубликовать на GitHub исходный код игрового движка CryEngine V. Проект находится в стадии активной разработки, что влечёт за собой появление множества ошибок в коде. Мы уже проверяли проект с помощью PVS-Studio для Windows, а теперь смогли проверить проект с помощью PVS-Studio для Linux. Материала снова набралось на большую статью с описанием только очень серьёзных ошибок.
[Читать дальше →][2]

[1]: https://habrastorage.org/getpro/habr/post_images/8c9/d12/e27/8c9d12e2765248d26fda2c655fca4acc.png
[2]: https://habrahabr.ru/post/325600/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

![][1]
Привет, Хабр,

Можно ли с помощью данных управлять миром? Ну, ответ, очевиден. Вопрос в том, как…

Все уже слышали об успехе компании [CambridgeAnalytica][2] в предвыборной гонке Трампа и небезызвестного Brexit.

Статья собрала большое количество поклонников. В ней рассказаны потрясающие результаты, которых позволяет добиться современная аналитика. Однако, эти результаты достижимы только при соблюдении определенных нюансов, о которых умолчали авторы статьи и о которых мы хотели бы рассказать. Эти нюансы могут превратить данную задачу из легко решаемой в невозможную или наоборот.
[Читать дальше →][3]

[1]: https://habrastorage.org/files/950/44e/4db/95044e4db2984660a962fa2b22d78c24.jpg
[2]: http://theins.ru/politika/38490
[3]: https://habrahabr.ru/post/325588/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

![][1]

Одна из проблем современной биологии – как отследить/запечатлеть объекты, которые постоянно находятся в движении. С этой ж проблемой сталкивается любой родитель, когда пытается сфотографировать маленького ребёнка: то фото размазалось, то поплыл фокус, то не хватает контрастности. Конечно, в биологии существует целый ряд инструментов, как добиться фиксации тех или иных биологических объектов. К примеру, мушек можно «усыпить» холодом, клетки «затормозить» с помощью химических веществ. Но что делать, если эксперимент заключается в наблюдении за ростом корней растения, которые постоянно удлиняются и извиваются. Чтобы получить одну лишь только серию фотографий могут уйти дни и даже недели кропотливой постоянной подстройки микроскопа. На выручку учёным приходят системы распознавания и автоматической коррекции изображения!

За микроскопическими подробностями жизни растений добро пожаловать под кат.
[Читать дальше →][2]

[1]: https://habrastorage.org/files/266/82a/371/26682a371b0244b790174082c9db7242.JPG
[2]: https://habrahabr.ru/post/325596/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

![][1]На некоторой стадии развития веб-проекта возникает одна из следующих ситуаций:
* backend перестаёт помещаться на одном сервере и требуется хранилище сессий, общее для всех backend-серверов
* по различным причинам перестаёт устраивать скорость работы встроенных файловых сессий
Традиционно в таких случаях для хранения пользовательских сессий начинают использовать Redis, Memcached или какое-то другое внешнее хранилище. Как следствие возникает бремя эксплуатации базы данных, которая при этом не должна быть единой точкой отказа или бутылочным горлышком в системе.

Однако, есть альтернатива этому подходу. Возможно безопасно и надёжно хранить данные сессии в браузерной куке у самого пользователя, если заверить данные сессии криптографической подписью. Если вдобавок к этому данные ещё и зашифровать, то тогда содержимое сессии не будет доступно пользователю. Главное достоинство этого способа хранения в том, что он не требует централизованной базы данных для сессий со всеми вытекающими из этого плюсами в виде надёжности, скорости и масштабирования. [Читать дальше →][2]

[1]: https://habrastorage.org/files/002/af1/db2/002af1db24d3444a9b4321ea25ddea0d.png
[2]: https://habrahabr.ru/post/325452/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

![image][1]



Корпоративные лаборатории Pentestit — уникальные по своему формату и содержанию курсы практической ИБ-подготовки, разработанные на основе лучших практик тестирования на проникновение и анализа защищенности, по уровню содержания сравнимые с материалами хакерских конференций. Вне зависимости от программ обучения, их ключевыми особенностями являются актуальный материал и практическая подготовка в пентест-лабораториях, составляющая 80% от общей программы курса.** В данной статье мы продолжим разбирать базис команд и полезных трюков при проведении тестирования на проникновение.**

[Читать дальше →][2]

[1]: https://habrastorage.org/getpro/habr/post_images/251/60d/569/25160d5695974ff393c714703a791adb.png
[2]: https://habrahabr.ru/post/325602/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

Причиной написания статьи, явилось огромное количество постоянно возникающих у новичков вопросов такого содержания: "Как собрать проект c pyqt5", "Почему не работает", "Какой инструмент выбрать" и т.д. Сегодня научимся собирать проекты без мучений и танцев с бубном.


[Читать дальше →][1]

[1]: https://habrahabr.ru/post/325626/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

Едва ли не со времени основания SAP и его продукты окружены мифами: сложно, дорого, невозможно внедрить, нельзя пользоваться, сложная поддержка, особый код и т.д. Чаще всего они обусловлены тем, что конечные пользователи и администраторы продуктов SAP были не готовы настроить настоящие enterprise-решения и найти точки использования их на всю катушку. Но были и частности, о которых стоит поговорить, особенно в связи с платформой SAP Cloud Platform. [Читать дальше][1]

[1]: https://habrahabr.ru/post/323088/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

В середине марта стало известно, что компания Docker [предложила][1] свой проект containerd независимому фонду Cloud Native Computing Foundation _(кстати, произошло это [одновременно][2] с rkt от CoreOS)_. Событие последовало за обещанием компании, данным в декабре прошлого года, когда containerd был официально отделён от Docker Engine. Что же это за компонент и зачем его отделили?

![][3]


## Как устроен containerd


[containerd][4] — это бывшая часть Docker, а ныне самостоятельное решение, реализующее **исполняемую среду для запуска контейнеров**. При его создании, как утверждают разработчики, они стремились к простоте, надёжности и портируемости. [Читать дальше →][5]

[1]: https://blog.docker.com/2017/03/docker-donates-containerd-to-cncf/
[2]: https://www.nixp.ru/news/13965.html
[3]: https://habrastorage.org/files/0e4/f31/688/0e4f3168824a4e5fbceb6f5ce88ef024.png
[4]: https://containerd.io/
[5]: https://habrahabr.ru/post/325358/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

В[ прошлой статье ][1]мы начали писать редактор мнемосхем. Сегодня статья о готовом редакторе. Вот, что получилось:

![][2]
[Читать дальше →][3]

[1]: https://habrahabr.ru/post/322990/
[2]: https://habrastorage.org/files/c61/a29/4eb/c61a294ebd79442695ca6a4e5bdfbb85.png
[3]: https://habrahabr.ru/post/325640/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

![][1]

Недавно закончилось соревнование по машинному обучению [Dstl Satellite Imagery Feature Detection][2] в котором приняло участие аж трое сотрудников Avito. Я хочу поделиться опытом участия от своего лица и рассказать о решении.
[Читать дальше →][3]

[1]: https://habrastorage.org/getpro/habr/post_images/3d5/92b/22e/3d592b22e0547ba9e21306807c4b1a27.png
[2]: https://www.kaggle.com/c/dstl-satellite-imagery-feature-detection
[3]: https://habrahabr.ru/post/325632/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

![][1]

Собираемся на Sync.NET #4, друзья! Традиционно в программе ивента крутые доклады и не менее крутые спикеры, отличный кофе и не менее вкусные сладости, встреча со старыми и новыми знакомыми, приветливый фотограф, дружелюбные бариста и много-много интересного.
Кратко о спикерах и докладах — под катом.
[Читать дальше →][2]

[1]: https://habrastorage.org/files/2bb/4a3/719/2bb4a37199a042ed9451ef6e257aa5fa.png
[2]: https://habrahabr.ru/post/325574/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

Мы продолжаем серию интервью с докладчиками конференции [DUMP][1], которая пройдёт 14 апреля в Екатеринбурге. Готовы интервью с программистом JetBrains Андреем Акиньшиным о том, [как начать выступать на конференциях][2], и разработчиком Dropbox Леонидом Васильевым [о жизни и работе в Ирландии][3].

Под катом — интервью c Александром Чепурным, научным сотрудником в компании [IOHK][4], где он разрабатывает библиотеки с открытым кодом, например, [Scorex][5] — библиотеку для построения блокчейн-систем. Александр с 2013 года занимается блокчейн-проектами, разрабатывал ядро платформы [Nxt][6], был одним из основателей [smartcontract.com][7].

Александр рассказал, чем разработка криптовалют отличается от разработки другого ПО, как начать программировать деньги и когда произойдет массовое внедрение блокчейна.

![][8][Читать дальше →][9]

[1]: http://dump-conf.ru/?utm_source=habr&utm_medium=post&utm_campaign=chepurnoy
[2]: https://habrahabr.ru/company/it_people/blog/324352/
[3]: https://habrahabr.ru/company/it_people/blog/324800/
[4]: https://iohk.io
[5]: https://github.com/ScorexFoundation
[6]: https://nxt.org
[7]: https://smartcontract.com
[8]: https://habrastorage.org/files/b91/3b5/fb2/b913b5fb20c34ba69baa69c98b0ab18d.jpg
[9]: https://habrahabr.ru/post/325606/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

### Задача


В статья использованы возможности пакета SymPy совместно с пакетом NumPy. Всё сводиться к преобразованию символьных выражений в функции способные работать с другими модулями Python.

Процесс решения дифференциальных уравнений становиться наглядным и хорошо контролируемым на каждом этапе вычислений. Следует отметить, что колебательное звено в разных интерпретациях обсуждается в сетях[1,2]. Например, в [3] приводиться модель колебательного звена с подробным исследованием переходных процессов.

Надеюсь, что подобные исследования колебательного звена на Python найдут своих сторонников. [Читать дальше →][1]

[1]: https://habrahabr.ru/post/325650/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

![][1]


Очень сложно адаптировать собственные продукты под стремительно меняющийся мир технологий и трендов. Вот, например, мессенджеры, которые два-три года назад были филиалом форумов (типовой кейс использования — дружба мамочек с колясками против машин во дворе), а сегодня это: а) внутреннее общение в корпорате; б) опять же общение в бизнесе, но внешнее (компания-клиенты); в) среда обитания чат-ботов и г) целый мир возможностей для создания этих самых чат-ботов и их интеграции со всем, что шевелится технологически.



Одна из идей про сочетание возможностей виртуальной АТС с возможностями ботов, про которую расскажу сегодня, в общем, была на поверхности — прикрутить простейшего чат-бота уведомлений о пропущенных звонках к Telegram (привет хабраюзеру [sguslya][2], который в комментах к моей [предыдущей статье][3] про API-конструкторы подтвердил, что такой кейс интересен). Схема хороша тем, что пользователям телефонии не обязательно при этом быть особенно программистами — ее легко повторить.


[Читать дальше →][4]

[1]: https://habrastorage.org/files/879/a8a/746/879a8a74692d4681b135ec866cdc8c6a.png
[2]: https://habrahabr.ru/users/sguslya/
[3]: https://habrahabr.ru/company/uis/blog/324104/
[4]: https://habrahabr.ru/post/325648/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

![image][1]



Корпоративные лаборатории Pentestit — уникальные по своему формату и содержанию курсы практической ИБ-подготовки, разработанные на основе лучших практик тестирования на проникновение и анализа защищенности, по уровню содержания сравнимые с материалами хакерских конференций. Вне зависимости от программ обучения, их ключевыми особенностями являются актуальный материал и практическая подготовка в пентест-лабораториях, составляющая 80% от общей программы курса.** В данной статье мы продолжим разбирать базис команд и полезных трюков при проведении тестирования на проникновение.**

[Читать дальше →][2]

[1]: https://habrastorage.org/getpro/habr/post_images/251/60d/569/25160d5695974ff393c714703a791adb.png
[2]: https://habrahabr.ru/post/325602/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

![][1] В конце марта вышел очередной мега-опрос разработчиков от StackOverflow, в котором приняли участие десятки тысяч человек. Ссылка на результаты опроса [здесь][2]. Отчет получился внушительным по размеру, поэтому давайте просто рассмотрим некоторые интересные моменты из него.



Кстати, на КДПВ — список "Most Loved" языков, это языки, на которых опрашиваемые пробовали писать, и им понравилось.


[Читать дальше →][3]

[1]: https://habrastorage.org/files/13f/c0a/3e6/13fc0a3e60f643ddad56d1a29c8667a7.png
[2]: https://stackoverflow.com/insights/survey/2017
[3]: https://habrahabr.ru/post/325636/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

### Предыстория


Имеем в «штате» Asterisk 11 и СУБД FireBird 2.5, в которую PBX пишет CDR. Нечасто, но бывает так, что запись в БД прекращается, а узнаем мы об этом тогда, когда нужно что-то посмотреть в CDR. Увидев, что записей нет, перезапускаем Asterisk, запись в БД восстанавливается. В очередной раз не получив важную информацию из CDR, было решено каким-то образом отслеживать факт записи/не записи в CDR.

В качестве системы мониторинга мы используем Zabbix 3, поэтому было решено написать простенький скрипт на Python, который будет подключаться к FireBird и проверять время последней записи в таблицу с CDR, если это время превышает 30 минут, то система мониторинга просигнализирует нам об этом.
[Читать дальше →][1]

[1]: https://habrahabr.ru/post/325668/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

Когда мы программируем, отлаживаем код, ищем пресловутый «баг», зачастую возникает ситуация, когда приходится перезапускать сервер приложений, что бы увидеть наши изменения. Это приводит к тому, что нам приходится выходить из «потока», разрушать наш хрупкий песочный замок нейронных связей. Отвлекаться от текущей задачи и ждать-ждать-ждать, когда на сервере приложений будут доступны наши изменения. Порой это так утомительно… Как было бы здорово, сделать «горячую» замену измененных классов и сразу увидеть результат.

![image][1]
[Читать дальше →][2]

[1]: https://cloud.githubusercontent.com/assets/1389501/24660351/9682293a-194f-11e7-8b1a-2e193d0b1202.png
[2]: https://habrahabr.ru/post/325700/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

Есть революции, которые происходят незаметно. Когда разработчики Facebook выпустили фреймворк React Native, никто не захватывал мосты и телеграфы. Новому подходу к кроссплатформенной разработке мобильных приложений удалось взять в плен самое ценное – мозги нативных программистов. Рассказать о центральной идее React Native, его преимуществах, перспективах и недостатках мы попросили Владимира Иванова.

[![][1]][2]

Владимир более 6 лет занимается разработкой под Android, обладает опытом создания приложений под iOS и Windows Phone. Последний год он увлекся React Native и начал двигать культуру кроссплатформенного кода в EPAM Systems.
[Читать дальше →][3]

[1]: https://habrastorage.org/getpro/habr/post_images/7c3/7ad/cf2/7c37adcf23ea9143a9900897a4d0f1df.jpg
[2]: https://habrahabr.ru/company/jugru/blog/325628/
[3]: https://habrahabr.ru/post/325628/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

![image][1]


27 апреля на Мансарде RAMBLER&Co пройдет первый митап, посвященный работе с Apache Spark.

Apache Spark уже успел зарекомендовать себя как один из основных фреймворков работы с большими данными и успешно применяется в таких крупных компаниях, как Amazon, Baidu, IBM, Databricks, NASA JPL и TripAdvisor. Нам известно, что и в России Spark используется во многих небольших и в некоторых крупных компаниях, причем весьма результативно.

В Rambler&Co мы уже около года используем Spark почти для всех задач департамента рекламных технологий, связанных с ETL и машинным обучением. Более того, в начале года мы успешно обновились до версии 2.1.0.

На митапе мы бы хотели поделиться нашим опытом внедрения Spark в продакшен, рассказать о проблемах, с которыми мы столкнулись, и обсудить решения, которые применили. Выяснить, какие новые и крутые фишки появились в Spark 2, и какие баги успешно мигрировали из предыдущих версий Ну и, конечно же, познакомиться с другими энтузиастами и практиками этого замечательного инструмента и сделать наше мероприятие регулярным! Приходите, будет интересно! [Читать дальше →][2]

[1]: https://habrastorage.org/getpro/habr/post_images/61c/33f/fdc/61c33ffdc35d5459079e60cf739cc6ee.png
[2]: https://habrahabr.ru/post/325622/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

Есть революции, которые происходят незаметно. Когда разработчики Facebook выпустили фреймворк React Native, никто не захватывал мосты и телеграфы. Новому подходу к кроссплатформенной разработке мобильных приложений удалось взять в плен самое ценное – мозги нативных программистов. Рассказать о центральной идее React Native, его преимуществах, перспективах и недостатках мы попросили Владимира Иванова.

[![][1]][2]

Владимир более шести лет занимается разработкой под Android, обладает опытом создания приложений под iOS и Windows Phone. Последний год он увлекся React Native и начал двигать культуру кроссплатформенного кода в EPAM Systems.
[Читать дальше →][3]

[1]: https://habrastorage.org/getpro/habr/post_images/7c3/7ad/cf2/7c37adcf23ea9143a9900897a4d0f1df.jpg
[2]: https://habrahabr.ru/company/jugru/blog/325628/
[3]: https://habrahabr.ru/post/325628/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

![][1]

Не так давно [я писал][2] о C++ библиотеках для микробенчмаркинга. Я рассказал о трех библиотеках: Nonius, Hayai и Celero. Но в действительности я хотел поговорить о четвертой. Мой Windows тогда не поддерживал Google Benchmark library, так что я не мог ее протестировать. К счастью, из комментариев к прошлому посту я узнал, что теперь библиотека доступна в Visual Studio!

Давайте посмотрим, как можно ее использовать.
[Читать дальше →][3]

[1]: https://habrastorage.org/files/2a0/e14/4ad/2a0e144ad2c6449fb82b1a6585b6438d.jpg
[2]: http://www.bfilipek.com/2016/01/micro-benchmarking-libraries-for-c.html
[3]: https://habrahabr.ru/post/325634/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

![][1]


[Недавние исследования][2] показали, что почти **87% устройств на Android уязвимы к атакам**.

Это связано с тем, что не проводятся [обновления системы безопасности][3]. От интернета не защититься, пока устройство подключено к сети. Обеспечение безопасности в наше время является одной из основных задач, поэтому появилось много сторонних приложений для ее повышения.
[Читать дальше →][4]

[1]: https://habrastorage.org/files/548/fc7/a8e/548fc7a8e2d64285a92024b8caf4af96.jpg
[2]: https://arstechnica.com/security/2015/10/university-of-cambridge-study-finds-87-of-android-devices-are-insecure/
[3]: https://geekflare.com/mobile-app-security-scanner/
[4]: https://habrahabr.ru/post/325386/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

Загрузка файла по ссылке с возможностью продолжить загрузку, например, при обрыве соединения:
wget -c http://link/file
Просмотр записи в текстовый файл в реальном времени:
tailf file
Узнать время выполнения команды:
time command
Слежение за изменениями в выводе команды:
watch command
Сочетание клавиш для закрытия текущей сессии в bash и различных утилитах, например клиент MySQL:
Ctrl-D
Быстрое создание резервной копии файла:
cp file{,.copy} [Читать дальше →][1]

[1]: https://habrahabr.ru/post/325708/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

![][1]

Как повелось издавна, в начале апреля мы приглашаем вас принять участие в традиционной летней школе программистов Intel 0х7E1, которая состоится в июле-августе 2017 года. Вы молоды, занимаетесь программированием и интересуетесь такими темами, как оптимизация производительности, обработка видео и графики, машинное зрение? Вас привлекает возможность поработать в компании крутых профессионалов? Вам хочется решать интересные живые задачи и видеть результат своего труда? А, может, вам просто нечем заняться этим летом? Тогда вам однозначно под кат.
[Читать дальше →][2]

[1]: https://habrastorage.org/files/8cb/d01/20c/8cbd0120c87e4643bfebd06ef43e1c75.png
[2]: https://habrahabr.ru/post/325656/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

Здравствуйте, коллеги. Рассмотрим обычный онлайн-эксперимент в некоторой компании «Усы и когти». У неё есть веб-сайт, на котором есть красная кнопка в форме прямоугольника с закругленными краями. Если пользователь нажимает на эту кнопку, то где-то в мире мурлычет от радости один котенок. Задача компании — максимизация мурлыкания. Также есть отдел маркетинга, который усердно исследует формы кнопок и то, как они влияют на конверсию показов в клико-мурлыкания. Потратив почти весь бюджет компании на уникальные исследования, отдел маркетинга разделился на четыре противоборствующие группировоки. У каждой группировки есть своя гениальная идея того, как должна выглядеть кнопка. В целом никто не против формы кнопки, но красный цвет раздражает всех маркетологов, и в итоге было предложено четыре альтернативных варианта. На самом деле, даже не так важно, какие именно это варианты, нас интересует тот вариант, который максимизирует мурлыкания. Маркетинг предлагает провести A/B/n-тест, но мы не согласны: и так на эти сомнительные исследования спущено денег немерено. Попробуем осчастливить как можно больше котят и сэкономить на трафике. Для оптимизации трафика, пущенного на тесты, мы будем использовать шайку многоруких байесовских бандитов (bayesian multi-armed bandits). Вперед.

[Читать дальше →][1]

[1]: https://habrahabr.ru/post/325416/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

![image][1]



В декабре завершился [Russian AI Cup 2016][2] — организованный нами ежегодный чемпионат по программированию искусственного интеллекта. Чемпионат для наглядности, понятности и простоты проводится в игровом формате.



В этом году участники создавали алгоритм — игровую стратегию для MOBA-игры. Получившийся бот сражался с другими такими же, а лучший из них побеждал в раунде. Таким образом, из серии раундов получился турнир, проходящий в несколько этапов.

[Читать дальше →][3]

[1]: https://habrastorage.org/files/fbc/701/916/fbc7019160844b029eed8d017d912e9e.jpg
[2]: http://russianaicup.ru/
[3]: https://habrahabr.ru/post/325050/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

![][1]


## **Введение, дисклеймер или зачем эта статья**


Данная статья представлена с целью призвать всех, кто хоть как-то связан с разработкой, обращать больше внимания на безопасность, при этом мы постарались сделать это максимально наглядным образом. Статья не претендует на самостоятельное исследование.

Первая попытка формирования проблемы была представлена на финальном этапе [M\*CTF][2] в Конгресс-центре МТУСИ. [В день лекций][3] был представлен к вниманию доклад «Жизнь без SDL. Осень-2016», затрагивающий подробный разбор DOM XSS на WIX.COM и Cryptsetup Initrd root Shell в современных дистрибутивах. Последний случай мы рассмотрели на недавнем вебинаре.

Доклад получил одобрение публики и плавно перешел в диалог о существующих проблемах и способах их решений. Это вдохновило нас на создание цикла статей о наиболее интересных и показательных случаях, подчеркивающих актуальность затронутой темы.
[Читать дальше →][4]

[1]: https://habrastorage.org/files/c28/d91/96d/c28d9196d0ff4e379385b38892c7a443.jpg
[2]: http://mctf.aciso.ru/
[3]: https://habrahabr.ru/post/317336/
[4]: https://habrahabr.ru/post/325716/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

Эллиптическая криптография, обладая высокой стойкостью и широкой распространенностью, всегда вызывала много споров и спекуляций на предмет возможных закладок для разных кривых и схем подписи. При этом никто не смог привести пример подобной закладки или же доказать их отсутствие. Потому, в отличие от симметричной криптографии, где лидерство безоговорочно принадлежит AES, асимметричная криптография используется разных видов, в зависимости от предпочтений, технических или законодательных требований. Дополнительные типы подписей адресов в I2P предоставляют больший выбор и гибкость для приложений. ГОСТ поддерживается в openssl через EVP интерфейс, однако в версии 1.1 он исключен из стандартной поставки, кроме того существующая реализация предполагает хранение и передачу публичных ключей и подписей в формате DER, а I2P работает непосредственно с числами, определяя необходимые параметры из типа подписи.
[Читать дальше →][1]

[1]: https://habrahabr.ru/post/325666/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

Доброго времени суток. Я заранее извиняюсь, что отнимаю у Вас время, но я не знаю что делать и нахожусь в крайней степени отчаяния.

А теперь я постараюсь рассказать не слишком длинно и не слишком нудно свою историю. Про детство трепаться смысла нет, оно у меня было относительно счастливым, настолько, насколько может быть счастливым детство в девяностые (сейчас мне 31 год). Школьные годы, какие-то детские успехи и неудачи, но в целом всё гладко. Я небыл отличником и на дно не опускался. Живу я в Крыму, и не смотря на наличие моря со всех сторон, блоблемы со щитовидной железой — тут не редкая проблема. Толи дело в дефиците йода (популярная версия), толи в Чернобыле (как раз родился в год аварии). Меня эта проблема тоже не минула. Узнал я о том, что щитовидка у меня работает недостаточно хорошо я случайно. С тех пор мне приходится следить за ней: сдавать анализы на гормональный фон, делать узи чтобы не пропустить нехороших новообразований или развития тех, что уже имеются, ежедневный приём дозы левотироксина по утрам. На самом деле это совсем не сложно и в целом не доставляет прямо каких-то безумных неудобств. Каким-нибудь диабетикам в разы хуже, а я, можно сказать, живу с такой проблемой и не тужу.

Подступала пора готовиться к университету, щитовидка давала о себе знать стандартными симптомами: отёчность конечностей, усталось, пониженная работоспособность, в том числе интеллектуальная. Я приходил со школы и мне нужно было пару часов отлежаться, а то и поспать — я сильно уставал. Но родители хотели сына-звезду. Их мечты и мои возможности стали слишком сильно расходиться, и тут они подурели.

[Читать дальше →][1]

[1]: https://habrahabr.ru/post/325768/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

![use cases][1]



Сейчас мало кого удивишь инструментами управления зависимостями проекта вроде `npm`, `composer`, `bundler`, `pip`, `maven`, `cargo` и других. Их общий недостаток — невозможность управлять непосредственно средой выполнения. Такая задача решается через `nvm`, `php-build`, `rvm`, `virtualenv`, `sdkman`, `rustup` и прочие глобальные "манагеры" версий runtime, обычно написанные под Bash/Zsh.



Следующий уровень "проблем" начинается, когда универсальный разработчик ежедневно занимается проектами с использованием совершенно разных технологий. Переменные окружения превращаются в месиво, а запуск шелла может занимать несколько секунд. Неизбежно начинаются бытовые ошибки в работе с этим зоопарком.



Далее разброд и шатание настегает Continuous Integration & Delivery, где ручные танцы с бубном установки инструментов и активирования конкретных версий совершенно не приветствуются, а в идеале требуется в принципе максимально абстрагироваться от используемых технологий и довести процесс до примитивных нейтральных команд: подготовить к релизу, затегить, скачать, подготовить, построить, упаковать, выложить, проверить, одобрить(подписать), выкатить.



Тут сам собой напрашивается инструмент, унифицировано работающий поверх уже существующих технологий,
который из себя и представляет [FutoIn CID — FutoIn Continuous Integration & Delivery tool][2].

[Читать дальше →][3]

[1]: https://habrastorage.org/files/b0e/ba0/6e7/b0eba06e74d2414e9be00f0e3beb59ed.png "use cases"
[2]: https://pypi.python.org/pypi/futoin-cid
[3]: https://habrahabr.ru/post/325764/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

Я обычная девушка, сравнительно недавно работающая в сфере ИТ, не имею знаний в хакинге и взломе. Но вдохновленная статьями на Хабре про взлом транспортных карт «[Тройка][1]» и «[Подорожник][2]» (которые уже не доступны, авторы [Ammonia][3] и [antoo][4]), я решила рассказать про свой собственный опыт взлома транспортных карт «[Ситикарт][5]», которые действуют в Нижнем Новгороде.

![][6]

Сразу скажу, я не хакер и не взломщица, а простой фронт-энд разработчик, мои знания по работе с ПК, если отбросить знания во фронт-энд разработке, можно охарактеризовать, как «опытный пользователь».

Я не разрабатывала специальные приложения, как делали это авторы упомянутых статей, а покажу, как доступными средствами можно легко взламывать транспортные карты. [Методы взлома][7] известны давно (лет 5-7 точно).

Если бы я, как разработчик, использовала старые версии фреймворков с известными уязвимостями, мне бы давно оторвал работодатель голову, но на разработчиков транспортных систем это, по-моему, не распространяется. Возможно, это связано с низкой подкованностью самих разработчиков.

Но вернусь к взлому. Итак, обо всем по порядку.
[Читать дальше →][8]

[1]: https://habrahabr.ru/post/301832/
[2]: https://habrahabr.ru/post/324040/
[3]: https://habrahabr.ru/users/ammonia/
[4]: https://habrahabr.ru/users/antoo/
[5]: http://siticard.ru/
[6]: https://habrastorage.org/files/aa7/bef/c18/aa7befc1854e496a9b1ec2f821b80b25.jpg
[7]: https://www.cs.bham.ac.uk/~garciaf/publications/Talk.Mifare.pdf
[8]: https://habrahabr.ru/post/325776/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

![FreeBSD, CWE][1]
Пришло время вновь проверить проект FreeBSD и продемонстрировать, что даже в таких серьезных и качественных проектах анализатор PVS-Studio легко находит ошибки. В этот раз я решил взглянуть на поиск ошибок с точки зрения обнаружения потенциальных уязвимостей. Анализатор PVS-Studio всегда умел выявлять дефекты, которые потенциально можно использовать для атаки. Но мы никогда не акцентировали на этом внимание и описывали ошибки как опечатки, последствия неудачного Copy-Paste и так далее, и не классифицировали их, например, согласно CWE. Сейчас очень популярно говорить и о безопасности, и об уязвимостях, поэтому попробую немного расширить ваше восприятие нашего анализатора. PVS-Studio — это не только поиск багов, но ещё и инструмент, повышающий безопасность кода.
[Читать дальше →][2]

[1]: https://habrastorage.org/getpro/habr/post_images/5b6/5d4/195/5b65d4195da88c1044587655b7c725d9.png
[2]: https://habrahabr.ru/post/325780/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

Кажется, что [systemd][1] — некое яблоко раздора в Linux-сообществе. Как будто не существует нейтральной точки зрения на systemd. Кардинально противоположные мнения предполагают, что вы должны или любить его, или желать уничтожения. Я хочу предложить некую середину. Для начала, обсудим кошмарные свойства systemd.


# Плохое и кошмарное



## [systemd-escape][2]


Тот факт, что существует [systemd-escape][3], сам по себе явно указывает на нечто ужасно неправильное. Если вы никогда не видели или не использовали эту команду в деле, считайте, что вам повезло.
[Читать дальше →][4]

[1]: https://www.freedesktop.org/wiki/Software/systemd/
[2]: http://man7.org/linux/man-pages/man1/systemd-escape.1.html
[3]: http://man7.org/linux/man-pages/man1/systemd-escape.1.html
[4]: https://habrahabr.ru/post/325792/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

![image][1]

Безопасность веб-приложений находится в первой десятке трендов и угроз информационной безопасности уже свыше 10 лет. Действительно, современные бизнес-процессы и повседневная жизнь — все больше и больше зависит от использования веб-приложений, в разнообразнейших аспектах: от сложных инфраструктурных систем до IoT устройств. Тем не менее специализированных средств защиты веб-приложений довольно мало, по большей части эту задачу возлагают (или надеются что она будет решена) на разработчиков. Это и использование различных фреймворков, средств санации, очистки данных, нормализации и многого другого. Тем не менее, даже с использованием этих средств безопаснее веб не стал, более того, в все уязвимости «классического веба» практически в неизменном виде мигрировали в мобильную разработку. В этой статье будет рассказано не как не допустить уязвимость, а как защитить веб-приложение от ее эксплуатации с использованием Web Applicatin Firewall.
[Читать дальше →][2]

[1]: https://habrastorage.org/getpro/habr/post_images/546/d12/422/546d12422539803e91ecb58794cd26ed.jpg
[2]: https://habrahabr.ru/post/325784/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

Все описанные способы были отправлены «Вконтакте» через hackerone, но «Вконтакте» решили, что эти способы не являются проблемами. Решение было принято через 6 месяцев после изменения статуса репорта на «Triaged». Я пытался переубедить, но ответа не увидел.

Многие продемонстрированные ссылки у вас работать не будут, т. к. они разные для всех.


## Деанонимизация руководителей сообществ



### Через видеозаписи


> При ограниченном доступе добавлять новые видеозаписи могут только редакторы и администраторы сообщества.
На странице видеозаписей сообщества есть вкладка «Загруженные», в которой отображаются только видео, загруженные с компьютера. Если видеозаписи сообщества ограничены, то во вкладке «Загруженные» отображаются видеозаписи, которые загрузили руководители. Проблема в том, что прямые ссылки на видеозаписи содержат идентификатор загрузчика. Посмотрев идентификаторы можно деанонимизировать руководителей.

Пример на созданном сообществе: [vk.com/club143400909][1].

![image][2]

Вытягиваем прямую ссылку или hls-поток на видеозапись: [vk.com/video-143400909\_456239017][3]
Прямая ссылка: [cs632300.userapi.com/4/u237115941/videos/5115525024.240.mp4][4]
Hls-поток: [cs632300.userapi.com/video/hls/4/u237115941/videos/5115525024/index-f1-v1-a1.m3u8][5]
Видим, что руководитель [vk.com/id237115941][6].
[Читать дальше →][7]

[1]: https://vk.com/club143400909
[2]: https://pp.userapi.com/c836123/v836123941/23761/OxiIaGvA5Vc.jpg
[3]: https://vk.com/video-143400909_456239017
[4]: http://cs632300.userapi.com/4/u237115941/videos/5115525024.240.mp4
[5]: http://cs632300.userapi.com/video/hls/4/u237115941/videos/5115525024/index-f1-v1-a1.m3u8
[6]: https://vk.com/id237115941
[7]: https://habrahabr.ru/post/325840/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

## Краткое содержание


1. Фатальная ошибка Мартина Клеппмана.
2. Физико-химическая кинетика уделывает математику.
3. Период полураспада кластера.
4. Решаем нелинейные дифференциальные уравнения, не решая их.
5. Ноды как катализатор.
6. Предсказательная сила графиков.
7. 100 миллионов лет.
8. Синергия.

В [предыдущей заметке][1] мы подробно разбирали [статью Брюера и его одноименную теорему][2]. На этот раз займемся препарированием поста [Мартина Клеппмана «The probability of data loss in large clusters»][3].

В данном посте автор пытается промоделировать следующую задачу. Для обеспечения сохранности данных обычно используется метод репликации данных. При этом, на самом деле, не важно, используется ли erasure кодирование или нет. В оригинальном посте автор задает вероятность выпадения одной ноды, а затем ставит вопрос: а какова вероятность выпадения данных при увеличении числа нод?

Ответ приведен на этой картинке:
[Читать дальше →][4]

[1]: http://gridem.blogspot.com/2017/03/cap-theorem-myths.html
[2]: https://cloud.google.com/spanner/docs/whitepapers/SpannerAndCap.pdf
[3]: https://martin.kleppmann.com/2017/01/26/data-loss-in-large-clusters.html
[4]: https://habrahabr.ru/post/325798/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

Мы продолжаем серию интервью с докладчиками конференции [DUMP][1].

Хайп вокруг чат-ботов не стихает. Почему про них все говорят? Сложно ли их программировать? Как на них заработать? Есть ли шанс, что чат-боты заменят мобильные приложения? А людей? На наши вопросы ответили основатель проекта [ConfBot][2] Алексей Могильников и технический директор [JetStyle][3], на счету которых десяток разработанных чат-ботов, Алексей Спиридонов.

![][4]
[Читать дальше →][5]

[1]: http://dump-conf.ru/?utm_source=habr&utm_medium=post&utm_campaign=chatbot
[2]: http://confbot.ninja
[3]: https://jetstyle.ru
[4]: https://habrastorage.org/files/f02/cd5/84b/f02cd584b78b49fbb4daf22731827350.png
[5]: https://habrahabr.ru/post/325812/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

![][1]

С самого нашего первого крика при рождении и до последнего вздоха в конце жизни нас программируют. Родители, друзья, учителя и даже врачи. Нас окружают правила и законы, алгоритмы и различные руководства. Я хочу выделить один комментарий к моей последней публикации от пользователя [Zoomerman][2]:
> Программист — человек, создающий программы.
> Программист выстраивает цепочку событий, используя доступное множество ресурсов.
> Программы бывают компьютерные, музыкальные, поведенческие, обучающие и т.д.
> Программа начинает создаваться в тот момент, когда человек определяет начальную и конечную точки процесса.
> И если менеджер говорит «у меня есть товар, хочу его поменять на деньги» — он превращается в программиста и строит алгоритм этого процесса.
> Для меня программист — это не каста и не профессия. Программист — это состояние ума. [Читать дальше →][3]

[1]: https://habrastorage.org/files/ac0/78a/79d/ac078a79d38f4848b240f9dc02709e44.PNG
[2]: https://habrahabr.ru/users/zoomerman/
[3]: https://habrahabr.ru/post/325778/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

![image][1] Привет, Хаброжители! Вы наверняка слышали о книге Майкла Доусона (Michael Dawson), в которой он учит языку программирования Python тем же самым путем, то есть через программирование несложных игр. Учиться, создавая свои собственные развлекательные программы.

Несмотря на развлекательный характер примеров, демонстрируется вполне серьезная техника программирования. Ниже приведен отрывок из главы «Объектно-ориентированное программирование. Игра «Блек-джек»»
[Читать дальше →][2]

[1]: https://habrastorage.org/files/b52/050/10f/b5205010f5ce4bf788af4775a80e1b93.jpg
[2]: https://habrahabr.ru/post/325782/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut