Скорее всего, вы слышали об авторе этой лекции. Владимир [ternaus][1] Игловиков занял второе место в британском Data Science Challenge, но организаторы конкурса [не стали][2] выплачивать ему денежный приз из-за его российского гражданства. Затем наши коллеги из Mail.Ru Group [взяли][3] выплату приза на себя, а Владимир, в свою очередь, попросил перечислить деньги в Российский Научный Фонд. История получила широкий охват в СМИ.

Спустя несколько недель Владимир выступил на одной из [тренировок][4] Яндекса по машинному обучению. Он рассказал о своём подходе к участию в конкурсах, о сути Data Science Challenge и о решении, которое позволило ему занять второе место.


[Читать дальше →][5]

[1]: https://habrahabr.ru/users/ternaus/
[2]: https://www.facebook.com/iglovikov/posts/10203262494799398
[3]: https://www.facebook.com/mailrugroup/photos/a.10150089316296007.303230.11616446006/10155138245141007/?type=3&theater
[4]: https://habrahabr.ru/company/yandex/blog/327444/
[5]: https://habrahabr.ru/post/335002/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

![][1]

Всем доброго времени суток. Только что подошел к концу [SHA2017 CTF][2] и в этой статье, я бы хотел рассмотреть решение одного интересного таска [Abuse Mail (300)][3] из раздела _Network_. [Читать дальше →][4]

[1]: https://habrastorage.org/web/83b/f90/f8e/83bf90f8e2a948459d2bf668baf3d25f.png
[2]: https://ctf.sha2017.org/home
[3]: https://ctf.sha2017.org/challenges?chal=22
[4]: https://habrahabr.ru/post/335012/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

Visual Studio Code (далее — VS Code) – сравнительно молодой редактор кода (первый выпуск – весна 2015 г.) с открытым исходным кодом, распространяемый бесплатно и способный составить реальную конкуренцию таким признанным лидерам отрасли как Sublime Text, Atom, Notepad++.
Ниже перечислены те особенности VS Code, которые меня заинтересовали и заставили попробовать в действии.
[Читать дальше →][1]

[1]: https://habrahabr.ru/post/335014/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

![][1]_Эта статья представляет собой адаптацию разделов 2 и 3 из главы 9 моей книги «[Глубинное обучение с Python][2]» (Manning Publications)._

Статья рассчитана на людей, у которых уже есть значительный опыт работы с глубинным обучением (например, тех, кто уже прочитал главы 1-8 этой книги). Предполагается наличие большого количества знаний.

----


# Ограничения глубинного обучения



### Глубинное обучение: геометрический вид


Самая удивительная вещь в глубинном обучении — то, насколько оно простое. Десять лет назад никто не мог представить, каких потрясающих результатов мы достигнем в проблемах машинного восприятия, используя простые параметрические модели, обученные с градиентным спуском. Теперь выходит, что нужны всего лишь _достаточно большие_ параметрические модели, обученные на _достаточно большом_ количестве образцов. Как сказал однажды Фейнман о Вселенной: «_Она не сложная, её просто много_».
[Читать дальше →][3]

[1]: https://habrastorage.org/getpro/habr/post_images/dd7/274/ede/dd7274edee3cb055b3afe5df9b88e473.jpg
[2]: https://www.manning.com/books/deep-learning-with-python
[3]: https://habrahabr.ru/post/335026/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

Всем привет! В предыдущей части мы разобрались с базовой архитектурой, сетью и обменом сообщениями. Нарастим теперь функционал. Сделаем возможность войти, зарегистрироваться получив при этом сессионный id, который можно в будущем использовать для управления клиентом в процессе игры. Далее мы добавим чат, по сути все работает по его принципу: получили сообщение — разослали подписантам. Сделаем возможность создавать игровые комнаты, где будем собирать игроков и отправлять в бой. Синхронизировать перемещение клиентов и напоследок проверять выстрел на проверочном сервере. Будет много кода, я продолжаю пошаговое описание, чтобы можно было быстро разобраться и воспроизвести для своих нужд. Для тех, кто не знаком с первой частью, но хочет вынести для себя что-то полезное здесь и сейчас, я добавил реализацию алгоритма генерации фрактальных ландшафтов Diamond Square, в начало. Happy coding!

[Часть 1. Общая картина, сборка библиотек, подготовка клиента и сервера к обмену сообщениями][1]
[Часть 2. Наращивание игрового функционала + алгоритм Diamond Square][2]

![][3]

[Читать дальше →][4]

[1]: https://habrahabr.ru/post/333788/
[2]: https://habrahabr.ru/post/334786/
[3]: https://habrastorage.org/web/a46/b2b/467/a46b2b46748549079c512a693be39f90.jpg
[4]: https://habrahabr.ru/post/334786/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

[![][1]][2]

Клиент что-то заказал и ждёт, когда ему это привезут? День доставки заранее согласован? Значит, курьер может выезжать? Увы, нет. Рейд курьера может быть бессмыслен и бесполезен, потому что клиент… только что вышел в магазин, застрял в пробке, сидит на совещании, заснул, ушел с ребенком на детскую площадку – и ещё 1000 и одна причина, почему не сейчас. Как плохой футболист, которому внезапно дали пас. И, чтобы передача состоялась, надо как-то проверить, удобно ли клиенту, и не будет ли курьер мотаться почём зря. В компания СДЭК задумались, как это сделать, и при помощи Voximplant нашли для себя оптимальное решение, о котором – под катом.
[Читать дальше →][3]

[1]: https://habrastorage.org/web/d24/f7a/3ca/d24f7a3cabfc4f4983bec61d69b520b7.jpg
[2]: https://habrahabr.ru/company/Voximplant/blog/335068/
[3]: https://habrahabr.ru/post/335068/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

# Вышел GitLab 9.4: Связанные задачи и веб-мониторинг приложений {#vyshel-gitlab-94-svyazannye-zadachi-i-veb-monitoring-prilozheniy}



![image][1]



В GitLab 9.4 мы представляем связанные задачи, веб-мониторинг приложений, обновленную навигацию, групповые майлстоуны и многое другое!



Сложно кого-то удивить, когда работаешь открыто. Но такой подход позволяет нам рассказать о причинах наших нововведений, а также объяснить, как они позволят в будущем сделать GitLab еще лучше.



В GitLab 9.4 помимо добавления новой функциональности также закладываются основы многих будущих нововведений. Теперь вы официально можете [связывать задачи друг с другом][2], серьезно расширена функциональность переменных в CI, а система мониторинга без дополнительных настроек [анализирует гораздо больше метрик][3].


[Читать дальше →][4]

[1]: https://habrastorage.org/getpro/habr/post_images/1c8/24f/f11/1c824ff11eceda7cd6273f7a6b1fd2f6.jpg
[2]: #svyazannye-zadachi-ees-eep
[3]: #veb-monitoring-prilozheniy-ce-ees-eep
[4]: https://habrahabr.ru/post/335064/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

![][1]



Несмотря на то, что Linux по праву считается более защищенной системой, чем MS Windows, самого по себе этого факта мало.



Поэтому я хочу рассказать про базовую настройку безопасности в семействе Linux. Статья ориентирована на начинающих Linux-администраторов, но возможно и матерые специалисты почерпнут для себя что-нибудь интересное. В тексте не будет пошаговых инструкций – лишь базовое описание технологий и методов, а также несколько личных рекомендаций.

[Читать дальше →][2]

[1]: https://habrastorage.org/web/535/3e1/a20/5353e1a20b3f4becba04caf8fe3b6ab7.jpg
[2]: https://habrahabr.ru/post/335040/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

### Постановка задачи


Необходимость решения транспортных задач в связи с территориальной разобщённостью поставщиков и потребителей очевидна. Однако, когда необходимо решить транспортную задачу без дополнительных условий это как правило не является проблемой поскольку такие решения достаточно хорошо обеспечены как теоретически, так и программными средствами.

Решение закрытой транспортной задачи средствами Python с классическим условиями для поставщиков и потребителей товара приведено в моей статье “Решение задач линейного программирования с использованием Python” [1].

Реальная транспортная задача усложняется дополнительными условиями и вот некоторые из них. Ограниченная грузоподъёмность транспорта, не учитываемые задержки при оформлении груза на таможне, приоритеты и паритеты для поставщиков и потребителей. Поэтому решение закрытой транспортной задачи с учётом дополнительных условий и стало целью данной публикации. [Читать дальше →][1]

[1]: https://habrahabr.ru/post/335104/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

Задача резервирования основного шлюза — одна из самых популярных в сетевом администрировании. У нее есть целый ряд решений, которые реализуют механизмы приоритезации или балансировки исходящих каналов для абсолютного большинства современных маршрутизаторов, в том числе и маршрутизаторов на базе Linux.

![][1]

В [статье об отказоустойчивом роутере][2] мы вскользь упоминали свой корпоративный стандарт для решения этой задачи — Open Source-продукт [NetGWM][3] — и обещали рассказать об этой утилите подробнее. Из этой статьи вы узнаете, как устроена утилита, какие «фишки» можно использовать в работе с ней и почему мы решили отказаться от использования альтернативных решений. [Читать дальше →][4]

[1]: https://habrastorage.org/web/bb7/bb4/35c/bb7bb435c8e3404889ed6ab754203ba6.png
[2]: https://habrahabr.ru/company/flant/blog/331128/
[3]: https://github.com/flant/netgwm
[4]: https://habrahabr.ru/post/335030/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

![][1]

_[Галактика Андромеды][2]_



В статье под катом мы поговорим о том, как бороться с энтропией в конфигурационных файлах.

[Читать дальше →][3]

[1]: https://habrastorage.org/web/068/05e/9ad/06805e9ad79645e0b7917a720664b2ca.jpg
[2]: https://commons.wikimedia.org/wiki/File:Andromeda_galaxy_Ssc2005-20a1.jpg
[3]: https://habrahabr.ru/post/334698/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

В начале августа в нескольких десятках npm-пакетов был обнаружен вредоносный код. Администрация npmjs.com оперативно на это отреагировала и тут же [подготовила отчёт][1] о предпринятых мерах. Позже Доминик Кундел из twilio.com поделился [советами][2] о том, как найти проекты, «заражённые» подобными пакетами. Представляем вашему вниманию рассказ об этих событиях.

[![][3]][4] [Читать дальше →][5]

[1]: http://blog.npmjs.org/post/163723642530/crossenv-malware-on-the-npm-registry
[2]: https://www.twilio.com/blog/2017/08/find-projects-infected-by-malicious-npm-packages.html
[3]: https://habrastorage.org/web/a28/69c/327/a2869c327ca44bd2b554c91f11f77630.jpg
[4]: https://habrahabr.ru/company/ruvds/blog/335144/
[5]: https://habrahabr.ru/post/335144/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

![image][1]



В этой статье я расскажу о том, как оптимизировать и автоматизировать процессы тестирования на проникновение с помощью специализированных утилит и их расширений.

[Читать дальше →][2]

[1]: https://habrastorage.org/getpro/habr/post_images/ea0/1ae/59f/ea01ae59fa9cc81153dbf87ebc8697a4.jpg
[2]: https://habrahabr.ru/post/335140/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

Если у вас появилась потребность добавить React в Wagtail CMS, да еще и с использованием GraphQL, то это руководство должно помочь вам в этом.

![image][1]

Это перевод [статьи][2] из официального блога Wagtail, автор Brent Clark.
[Читать дальше →][3]

[1]: https://habrastorage.org/web/58f/821/68c/58f82168c31e40f68fe90461d5a3675a.png
[2]: https://wagtail.io/blog/getting-started-with-wagtail-and-graphql/
[3]: https://habrahabr.ru/post/335128/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

![][1]



Всем счастья и добра!



Эволюционно так получилось, что в моем личном владении оказался не маленький зоопарк различных серверов: от дешевого Supermicro до топового (на момент выпуска) HP Gen 8. Все конечно связано оптикой и прочими радостями жизни.



Но сказ не про то, как сеть класть, и даже не про то, как сервера настраивать, а про то, как правильно просто на всем этом деле docker-compose сервисы поднимать и радоваться.

[Читать дальше →][2]

[1]: https://habrastorage.org/web/4a4/4d6/0d3/4a44d60d3fd54b29aab30a62e93fbfa7.png
[2]: https://habrahabr.ru/post/335166/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

[![image][1]][2]

Более половины современных сайтов содержат критически опасные уязвимости, которые позволяют злоумышленникам проводить различные атаки, включая отказ в обслуживании и кражу персональных данных. Такие выводы содержатся в [исследовании компании Positive Technologies][3] на основе работ по анализу защищенности веб-приложений за 2016 год.

Как следует из отчета, практически все исследованные веб-приложения (94%) позволяют осуществлять атаки на пользователей, и неудивительно ― половина уязвимостей, вошедших в десятку самых распространенных, используются именно для таких атак. Доступ к персональным данным был получен в 20% приложений, обрабатывающих такие данные (включая сайты банков и государственных организаций). [Читать дальше →][4]

[1]: https://habrastorage.org/getpro/habr/post_images/f6a/e53/39a/f6ae5339a6f16ca6951ed47559d686ef.png
[2]: https://habrahabr.ru/company/pt/blog/335186/
[3]: http://blog.ptsecurity.ru/2017/08/web-attacks.html
[4]: https://habrahabr.ru/post/335186/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

Проверка на наличие определенного контента на сайте — одна из наиболее востребованных функций [сервиса мониторинга сайтов ХостТрекер][1]. Под катом мы расскажем, в каких случаях и почему это важно и рассмотрим несколько реальных ситуаций.

![][2]
[Читать дальше →][3]

[1]: http://www.host-tracker.com
[2]: https://habrastorage.org/web/a97/b66/a82/a97b66a82eed48e2a3adf32ea25b0bef.jpg
[3]: https://habrahabr.ru/post/334938/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

![image][1]


Привет %username%,

Сегодня я хотел бы рассказать про достаточно тривиальную задачу сбора логов с децентрализованных Squid proxy серверов и подводные камни с которыми мы столкнулись.

Что имеем:

1. Squid-hq
2. Squid-br1
3. Squid-br2
4. Squid-br3
5. Squid-br4
6. Squid-db[Читать дальше →][2]

[1]: https://habrastorage.org/getpro/habr/post_images/f44/761/ce4/f44761ce4323873a566ccac5aff56c0f.gif
[2]: https://habrahabr.ru/post/335204/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

На данный момент создано множество приложений для запоминания слов. Из тех что мне запомнились могу выделить такие Android приложения как **Lingualeo**, **Английские слова**, **СловоУч**.

Главным недостатком этих приложений для меня был платный аккаунт для добавления своей базы слов. Поэтому встал вопрос о написании своего приложения для запоминания слов. Главной идеей было подключения внешнего API словаря и переводчика для переводов слов на родной язык. В качестве такого API было выбрано Yandex API (**API Переводчика** и **API Словаря**).
[Читать дальше →][1]

[1]: https://habrahabr.ru/post/335212/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

Альфа-Банк Украина входит в ТОП-5 по количеству активных карт среди всех украинских банков и имеет довольно неплохой интернет-банкинг My Alfa-Bank.

У них существует функция перевода средств другому клиенту по номеру телефона: чтобы перевести деньги, достаточно указать номер телефона получателя, нет необходимости указывать номер карты.

Длительное время функция p2p-перевода по номеру телефона действовала при соблюдении определенных условий: если у получателя подтверждён телефон и оформлена зарплатная (именно зарплатная) карта в Альфа-Банке Украина.

Не так давно, в конце марта этого года, банк [реализовал][1] p2p переводы по номеру телефона в интернет-банкинге My Alfa-Bank уже для всех клиентов банка, а не только для «зарплатников».

Я решил протестировать функцию на предмет получения данных о клиенте по его номеру телефона.

Ввожу сумму и номер телефона родственника, у которого открыт счёт в Альфа-Банке, нажимаю «Далее».
![][2]
[Читать дальше →][3]

[1]: https://alfabank.ua/ru/about/press/alfa-bank-ukrayina-realizuvav-r2r-perekazi-za-nomerom-telefo-1863
[2]: https://habrastorage.org/web/28c/819/b6a/28c819b6a3de493eaa6b830e1b0d0f54.png
[3]: https://habrahabr.ru/post/334700/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

Перечисления (enumeration) по определению это — «действие упоминания некоторого количества чего-либо один за одним». В программировании, вместо упоминания, мы выбираем любое действие, которое хотим произвести, будь то простой вывод на монитор или выполнение некоторого рода выборки и/или преобразования над элементом.

В программировании, у нас есть много способов делать выборку и обработку коллекции за единицу времени, путем добавления в цепочку дополнительной функции трансформации на каждом шаге. И каждый шаг, может как потреблять целиком всю коллекцию перед тем как передать результаты обработки следующем шагу, или он может обрабатывать коллекцию «лениво», передавая один или более элементов коллекции через все шаги преобразований.
[Читать дальше →][1]

[1]: https://habrahabr.ru/post/335072/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

![][1]

Привет, Хабр! Меня зовут Евгений Некрасов, я программист-исследователь в Mail.Ru Group. Сегодня я расскажу о своем решении соревнования по анализу данных [Dstl Satellite Imagery Feature Detection][2], которое было посвящено сегментации спутниковых изображений. В этом соревновании я использовал относительно простой поход к моделированию и занял 7 место из 419 команд. Под катом — рассказ, как мне это удалось.
[Читать дальше →][3]

[1]: https://habrastorage.org/getpro/habr/post_images/e98/7cf/d32/e987cfd3224536c5fbab12a71504da78.jpg
[2]: https://www.kaggle.com/c/dstl-satellite-imagery-feature-detection
[3]: https://habrahabr.ru/post/335164/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

![][1]

Что такое октодеревья? Если вам совершенно неизвестно это понятие, то рекомендую прочитать [статью в Википедии][2] (это займёт около пяти минут). Она даёт достаточное _представление_, но едва ли её будет достаточно, чтобы понять, для чего они используются и как их реализовать.

В этой статье я постараюсь рассказать обо всех этапах, необходимых для создания структуры данных октодеревьев, на примере объяснения концепций, иллюстраций и кода. Также я опишу свои решения, которые принимал на каждом из этапов. Не думайте, что эта статья будет единственно верным руководством к реализации октодеревьев, но она должна дать вам хороший фундамент и её можно использовать для справки.
[Читать дальше →][3]

[1]: https://habrastorage.org/getpro/habr/post_images/743/8d4/db9/7438d4db9a93c3bf5caf8148b6562337.png
[2]: https://ru.wikipedia.org/wiki/%D0%9E%D0%BA%D1%82%D0%BE%D0%B4%D0%B5%D1%80%D0%B5%D0%B2%D0%BE
[3]: https://habrahabr.ru/post/334990/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

Сегодняшняя статья посвящена докладу про безопасность. Это рассказ Артёма [ximaera][1] Гавриченкова «Масштабируя TLS», который был представлен на [Highload++][2] в ноябре 2016 года:


Слайды можно найти [тут][3].

**Disclaimer:** про сертификаты и TLS только разбираемое выступление, а не сама статья.


# Сюжет


Всегда приятно смотреть, как докладчик находит в какой-то общеупотребительной вещи подводные камни, которые вас, да-да, вот именно вас, запросто могут больно задеть. Это благодатные темы, заходят они обычно на ура. При этом человеку, который глубоко занимается тем, чем обычные люди просто пользуются, всегда есть чем шокировать публику.
[Читать дальше →][4]

[1]: https://habrahabr.ru/users/ximaera/
[2]: http://www.highload.ru/2016/
[3]: https://www.slideshare.net/profyclub_ru/tls-qrator-labs
[4]: https://habrahabr.ru/post/331186/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

> _Дочка Убунту прибежала к Дебиану и, весело смеясь, поцеловала его в лоб: "С днём рождения, папа!". Затем она окинула радостным взглядом сидящих за столом гостей и спросила своим звонким голосом:_
> _ — Папа, а где Gentoo, разве он ещё не пришёл?_
> _ — Нет, он ещё только собирается._

Среди прочих Linux дистрибутивов Gentoo выделяется тем, что его окружает множество мифов, светлой и темной окраски. Я его использую более 10 лет в качестве домашней и офисной рабочей станции и хочу с вами разоблачить несколько мифов и создать парочку новых.


![][1]


Также хотелось бы рассказать о достоинствах и недостатках дистрибутива, дабы помочь сомневающимся и беженцам с _systemd_ принять верное решение. Пользуясь случаем также хочу здесь разместить несколько полезных советов, которые помогут избежать многочасовых поисков в интернетах и повторной компиляции монструозных пакетов.

[Читать дальше →][2]

[1]: https://habrastorage.org/web/224/073/c52/224073c52ebf446c868fa7ce921fae03.png
[2]: https://habrahabr.ru/post/335022/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

![][1]


## Александр Крижановский ( [krizhanovsky][2] )


Сегодня буду рассказывать про внутренности базы данных, про внутренности ОС и о том, что происходит на стыке. Когда я говорю про базу данных, я имею в виду в основном ввод/вывод, управление памятью и обработку транзакций. Это совершенно не про SQL, не про индексы, не про блокировки и т.д. Только ввод/вывод, управление памятью и транзакции.

В тех местах, когда я буду упоминать про базы данных, я буду ссылаться на InnoDB, которая мне наиболее знакома.

![][3]

Если мы посмотрим на движок транзакционной базы, мы увидим примерно такую же картинку. У нас есть буфер pool, в нем живут странички индекса, странички данных. Все эти странички выводятся через транзакционный лог, когда они изменились, проходит это все через планировщик ввода/вывода и в ту, и в другую сторону. Планировщик ввода/вывода, когда он считывает что-то с диска, он делает read ahead. Все это проходит через файловую систему, но это дальше, на диске.
[Читать дальше →][4]

[1]: https://habrastorage.org/getpro/habr/post_images/d5d/cc2/f98/d5dcc2f98b2d349f3ba80cf9622bcb85.jpg
[2]: https://habrahabr.ru/users/krizhanovsky/
[3]: https://habrastorage.org/getpro/habr/post_images/457/bca/6c2/457bca6c2b8181cfe5b1203c0417b4d7.png
[4]: https://habrahabr.ru/post/335260/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

В этом посте мы расскажем о том, как настроить двухфакторную аутентификацию в Check Point Security Gateway с использованием электронных ключей на примере JaCarta PKI российского разработчика решений по информационной безопасности.

О том, что удалённый доступ к ресурсам организации несёт пользу, но и создаёт ряд проблем для IT-департамента, говорится везде очень много. Мы также считаем это важной темой. Поэтому решили посвятить этому следующий пост.

Возможность корректной идентификации пользователей, запрашивающих доступ к информационной системе, достигается за счёт использования комплексных решений контроля доступа.
[Читать дальше →][1]

[1]: https://habrahabr.ru/post/335250/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

Недавно столкнулся с забавной проблемой во время написании API при помощи grape. Grape тут на самом деле не при чем, статья скорее про то, как работает ActiveSupport, создавая всю ту магию, благодаря которой нам не нужны в rails постоянные require, и как на этом можно подорваться. Кому интересно, прошу под кат.
[Читать дальше →][1]

[1]: https://habrahabr.ru/post/335192/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

Пакет программ Microsoft Office — это не только фактический стандарт офисного ПО, но и весьма сложная и многофункциональная среда, позволяющая создавать решения, предназначенные прежде всего для применения возможностей Microsoft Office и автоматизации рутинных действий пользователя при работе с документами. Эта программная платформа, называемая Объектной Моделью Microsoft Office (Microsoft Office Object Model), или же Автоматизацией Microsoft Office (Microsoft Office Automation) основана на Объектной Модели COM и содержит обширный набор классов, предоставляющих доступ практически к любому элементу или действию, доступному пользователю при работе с Microsoft Office через графический интерфейс.

![image][1]
_Объектная модель Microsoft Word (частично)_
[Читать дальше →][2]

[1]: https://habrastorage.org/getpro/habr/post_images/c0c/17d/e59/c0c17de596d0c9fe95f960bc38d541c8.gif
[2]: https://habrahabr.ru/post/335222/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

![][1]

Во вторник организация CNCF (Cloud Native Computing Foundation) [объявила][2] о публичной доступности своей «инфраструктурной лаборатории» — **CNCF Community Infrastructure Lab (CIL)**. Это означает, что Open Source-проекты, связанные с микросервисной архитектурой и «облачным» (cloud native) подходом, могут бесплатно получить в своё распоряжение инфраструктуру для тестирования функционирования и производительности своих наработок в облаке нужного масштаба. [Читать дальше →][3]

[1]: https://habrastorage.org/web/89b/3b3/1e4/89b3b31e4315426c8c43b401fca30a9d.png
[2]: https://www.cncf.io/announcement/2017/08/08/cloud-native-computing-foundation-expands-developer-access-demand-hardware-new-infrastructure-lab/
[3]: https://habrahabr.ru/post/335218/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

![][1]


## Александр Крижановский ( [krizhanovsky][2] )


По материалам доклада "[Linux Kernel Extension for Databases][3]" на HighLoad++ 2016.

Сегодня буду рассказывать про внутренности базы данных, про внутренности ОС и о том, что происходит на стыке. Когда я говорю про базу данных, я имею в виду в основном ввод/вывод, управление памятью и обработку транзакций. Это совершенно не про SQL, не про индексы, не про блокировки и т.д. Только ввод/вывод, управление памятью и транзакции.
[Читать дальше →][4]

[1]: https://habrastorage.org/getpro/habr/post_images/d5d/cc2/f98/d5dcc2f98b2d349f3ba80cf9622bcb85.jpg
[2]: https://habrahabr.ru/users/krizhanovsky/
[3]: http://www.highload.ru/2016/abstracts/2286.html
[4]: https://habrahabr.ru/post/335260/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

_Алёна Лазарева, редактор-фрилансер, перевела для блога [Нетологии][1] статью Benjamin Martin о городах, в которых разработчиков ждут лучшие зарплаты. _

![][2]

Где лучше всего искать работу разработчику? В Нью-Йорке? Сан-Франциско?

Если судить по уровню заработной платы, Кремниевая долина явный победитель — среднегодовой доход для разработчика там составляет 110 554 $, согласно [данным][3] Glassdoor. Но стоимость аренды в области залива Сан-Франциско настолько высока, что не все разработчики могут позволить себе снимать там жильё.
[Читать дальше →][4]

[1]: http://netolo.gy/dK2
[2]: https://habrastorage.org/web/44a/124/752/44a124752401407f9d7eb16b7d07fc95.png
[3]: https://www.glassdoor.co.uk/Salaries/san-francisco-software-engineer-salary-SRCH_IL.0,13_IM759_KO14,31.htm?countryRedirect=true
[4]: https://habrahabr.ru/post/335284/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

![image][1]

Нашумевшие события последних месяцев наглядно показывают, насколько актуальной является проблема критических уязвимостей в программном обеспечении. Массовые атаки на пользователей с помощью вирусов-шифровальщиков [WannaCry][2] и [Petya ][3]осуществлялись путем удалённой эксплуатации уязвимостей нулевого дня в сетевых сервисах Windows – SMBv1 и SMBv2. Нахождение и эксплуатация уязвимостей для удаленного выполнения кода – задачка явно не из легких. Однако лучшим из лучших специалистов по информационной безопасности всё по зубам!
В одном из заданий [очного тура NeoQuest-2017][4] необходимо было найти уязвимости в доступной по сети программе-интерпретаторе команд, и с помощью их эксплуатации выполнить код на удаленном сервере. Для доказательства взлома нужно было прочитать содержимое файлового каталога на сервере – там, по условию, размещался ключ задания. Участникам был доступен бинарный файл интерпретатора. Итак, лёд тронулся!
[Читать дальше →][5]

[1]: https://habrastorage.org/web/c81/fa1/43a/c81fa143ad644823bc46baad00fb208b.jpg
[2]: http://malware.wikia.com/wiki/WannaCry
[3]: https://www.avast.ru/c-petya
[4]: http://neoquest.ru/timeline.php?year=2017&part=2
[5]: https://habrahabr.ru/post/335046/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

![][1]



Средние значения нагрузки (Load averages) — это критически важная для индустрии метрика. Многие компании тратят миллионы долларов, автоматически масштабируя облачные инстансы на основании этой и ряда других метрик. Но на Linux она окутана некой тайной. Отслеживание средней нагрузки на Linux — это задача, работающая в непрерываемом состоянии сна (uninterruptible sleep state). Почему? Я никогда не встречал объяснений. В этой статье я хочу разгадать эту тайну, и создать референс по средним значениям нагрузки для всех, кто пытается их интерпретировать.

[Читать дальше →][2]

[1]: https://habrastorage.org/web/c56/554/a4d/c56554a4dbc34f98a4c6b2981c0c802c.jpg
[2]: https://habrahabr.ru/post/335326/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

![][1]

В данной статье мы поговорим о WiFiBeat, агенте, который может отправлять 802.11 фреймы в Elasticsearch, где мы можем их анализировать, строить графики и обнаруживать атаки. Вся эта система строится полностью на бесплатном ПО.
[Читать дальше →][2]

[1]: https://habrastorage.org/web/db4/009/188/db4009188e75414f9eb89489236f0923.jpg
[2]: https://habrahabr.ru/post/335134/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

C ростом команд неизбежно растет количество фич, а вместе с тем и тестовая модель и количество тест-кейсов, которые необходимо проверять при регрессионном тестировании. При этом количество команд растет не просто так, в нашем случае бизнесу хочется релизиться все чаще и чаще, не потеряв в качестве.

То, как мы в Альфа-Лаборатории решали проблему поиска баланса между скоростью, бюджетом и качеством, мы и рассмотрим сегодня на примере Альфа-Мобайла. Забегая вперед, ВНИМАНИЕ, СПОЙЛЕР!!! наше решение доступно на github: библиотека [colibri-ui][1] и шаблон [colibri-ui-template][2] для быстрого старта.

_В написании статьи принимали активное участие Павел [pvivanov][3] и Лилия [Lidiyatullina][4]
_

[![][5]][6]


## Что случилось?


В далёком 2013 нас даже не посещали мысли об автоматизации тестирования, поскольку процесс регрессионного тестирования занимал один день одного тестировщика на обе ОС (iOS/Android).

Однако с активным ростом приложения, добавлением в него новых услуг и сервисов затраты на ручное тестирование стали также расти высокими темпами.
[Читать дальше →][7]

[1]: https://github.com/alfa-laboratory/colibri-ui
[2]: https://github.com/alfa-laboratory/colibri-ui-template
[3]: https://habrahabr.ru/users/pvivanov/
[4]: https://habrahabr.ru/users/lidiyatullina/
[5]: https://habrastorage.org/web/a33/cef/b83/a33cefb837cd46c1a29d62c6d0257019.jpg
[6]: https://habrahabr.ru/company/alfa/blog/335278/
[7]: https://habrahabr.ru/post/335278/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

![][1]



Не так давно мы решали задачу оптимизации потребления ресурсов нашего кластера elasticsearch. Неосилив настроить сам эластик, мы сделали что-то типа кэша результатов поиска, использовав при этом подход называемый "обратным" поиском или перколятором. Под катом рассказ про то, как мы работаем с метаданными метрик и собственно перколятор.

[Читать дальше →][2]

[1]: https://habrastorage.org/web/4ac/331/112/4ac331112a15462aaa04793d70016471.png
[2]: https://habrahabr.ru/post/335266/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

[В одной из статей][1] про шишки, которые довелось набить за 15 лет использования акторов в C++, речь зашла о том, что большое количество акторов — это, зачастую, сама по себе проблема, а отнюдь не решение. И что использование идей из [SEDA-подхода][2] может существенно упростить жизнь при разработке приложений на базе модели акторов. Однако, как показали затем вопросы в комментариях к предыдущим статьям, совмещение SEDA-подхода и модели акторов отнюдь не очевидно, поэтому есть смысл копнуть данную тему чуть глубже.



# Модель акторов и ее достоинства



## Пара слов о модели акторов



В модели акторов прикладная работа выполняется посредством специальных вычислительных сущностей, называемых акторами, с использованием трех основных принципов:

[Читать дальше →][3]

[1]: https://habrahabr.ru/post/324978/
[2]: https://en.wikipedia.org/wiki/Staged_event-driven_architecture
[3]: https://habrahabr.ru/post/335304/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

[Vim][1] — мой любимый редактор. Я начал его использовать много лет назад, когда перешел на [Linux][2]. Он пришелся мне по душе, так как я мог редактировать небольшие исходные файлы на своем четырехъядерном компьютере без необходимости долго ждать, пока он откроется.

Могу с уверенностью сказать, что Vim не плохой редактор и очень расширяемый, но это не повод говорить о том, что Vim подходит всем, так как это вопрос вкуса. При использовании Atom или Code у меня часто возникают зависания, бывает они длятся по нескольких минут.

**Как вы думаете, сколько памяти нужно редактору, чтобы открыть следующий [C][3] файл?**

#include
int main() {
printf("Hello, world!\n");
} [Читать дальше →][4]

[1]: https://www.liveedu.tv/guides/programming/vim/
[2]: https://www.liveedu.tv/guides/programming/linux/
[3]: https://www.liveedu.tv/guides/programming/c-cplusplus/
[4]: https://habrahabr.ru/post/335364/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

Спасибо всем, кто уже принял участие в нашем [конкурсе по программированию][1]! Мы получили 60 решений от 34 уникальных участников. До конца конкурса осталась одна неделя (до 17 августа 2017, 23:59:59 UTC), и мы публикуем последние предварительные результаты.
[Читать дальше →][2]

[1]: https://habrahabr.ru/company/hola/blog/332176/
[2]: https://habrahabr.ru/post/335376/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

![image][1]

Еще одна статья от лица участника школы о проекте, реализованном в рамках очередной выезда:

«Я – [Дмитрий Пасечнюк][2], и я хочу поделиться своим исследованием, сделанном на каникулах в рамках выездной весенней смены [Школы GoTo][3] под руководством Александра Петрова, [asash][4], технического директора компании E-Contenta.

Как нам известно, онлайн-кинотеатры достаточно распространены и способны приносить неплохой доход. Но, как и в любом бизнесе, это не происходит само по себе. Одним из важных условий успешности онлайн-кинотеатра является грамотное составление предложений для просморта.
В каждом кинотеатре, будь то онлайн или реальный кинотеатр, есть сотрудник, занимающийся репертуарным планированием. Именно он определяет, какие фильмы будут показывать на экранах. Кинопрокатный процесс имеет свои подводные камни. Для того, чтобы выбрать удачный фильм, требуется учесть не только стоимость покупки прав, но и тысячу других нюансов. Системы отбора фильмов, как таковой не существует и зачастую фильмы выбираются, опираясь на собственное «чутье», рейтинг ожидания и экспертное мнение.

Принятие ответственного решения – тяжелое моральное бремя для человека, с одной стороны, с другой — всегда существуют риски излишнего влияния личностных и ситуационных факторов на принимаемое решение.

Современные технологии призваны облегчить труд людей, и в данном случае ожидания оправданы.

В своем исследовании я попробовал переложить задачу ранжирования фильмов в соответствии с ожиданиями целевой аудитории онлайн-кинотеатра с человека на машину. Безусловно, в общей постановке эта задача более сложная, и данное решение является только первым шагом. В дальнейшем я планирую продолжить исследования в этом направлении.

Обо всем по порядку под катом.
[Читать дальше →][5]

[1]: https://habrastorage.org/getpro/habr/post_images/2dd/a5b/50c/2dda5b50c791f6dd5ed47771bd747188.jpg
[2]: https://vk.com/id220498233
[3]: http://goto.msk.ru
[4]: https://habrahabr.ru/users/asash/
[5]: https://habrahabr.ru/post/333746/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

Согласно нашим подсчетам, в 72% зараженных сайтов использованы программы скрытого удаленного администрирования — бэкдоры. С их помощью мошенники получают удаленный доступ к вашему сайту, и понятное дело, чем это грозит владельцу: получение и передачи конфиденциальных данных пользователей, запуск вредоносных программ, уничтожения информации и тд.

![][1]
[Читать дальше →][2]

[1]: https://habrastorage.org/web/be6/884/58e/be688458e4af4ea1a0aeec7ae0d687a3.png
[2]: https://habrahabr.ru/post/335392/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

![][1]



Проведение конкурсов для IT-специалистов сейчас в моде: Kaggle с его задачами по Data Science, сплоченная тусовка олимпиадного программирования, набирающие популярность площадки для конкурсов по искусственному интеллекту, всевозможные хакатоны для мобильных разработчиков, олимпиады для админов, capture the flag для безопасников. Казалось бы, специалисту любой сферы несложно найти себе подходящую движуху, поучаствовать, прокачаться и что-нибудь выиграть.



Обделенными в этом плане остались лишь web-разработчики. Мы в Mail.Ru Group решили исправить это досадное недоразумение и теперь с радостью представляем вам [HighLoadCup][2] — конкурсную площадку на стыке backed-разработки и администрирования web-сервисов.



Если считаете себя хорошим web-разработчиком, умеете в deploy и highload — добро пожаловать!

[Читать дальше →][3]

[1]: https://habrastorage.org/web/8a4/fa1/e0c/8a4fa1e0c4144628a1cb590b6ecf572a.jpg
[2]: https://highloadcup.ru/main/
[3]: https://habrahabr.ru/post/335384/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

Наблюдение за выборами в различных странах, осложнёнными различными скандалами вокруг подтасовок, каждый раз заставляет задуматься: почему столь важное событие, легитимность которого столь необходимо защитить, использует механизмы защиты многовековой давности? Особенно это странно, учитывая то, что схему для голосования, пусть и далеко не идеальную, но значительно лучшую, чем текущая, может придумать даже человек, разбирающийся в криптографии на начальном уровне. Так уж совпало, что я отношу себя именно к таким людям, поэтому я подумал: почему бы не попробовать?

На хабре уже публиковался ряд статей о электронных выборах ([раз][1], [два][2], [три][3]), однако я не нашёл проработанного и отвечающего основным требованиям протокола. Так что встречайте: мой вариант протокола электронного голосования.
[Читать дальше →][4]

[1]: https://habrahabr.ru/post/156825/
[2]: https://geektimes.ru/post/156153/
[3]: https://geektimes.ru/post/156121/
[4]: https://habrahabr.ru/post/335398/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

![Превращаем круги в блоки][1]

­­



На первый взгляд, _Clean Architecture_ – довольно простой набор рекомендаций к построению приложений. Но и я, и многие мои коллеги, сильные разработчики, осознали эту архитектуру не сразу. А в последнее время в чатах и интернете я вижу всё больше ошибочных представлений, связанных с ней. **Этой статьёй я хочу помочь сообществу лучше понять Clean Architecture и избавиться от распространенных заблуждений**.

[Читать дальше →][2]

[1]: https://habrastorage.org/web/fe8/c82/a32/fe8c82a32b1548b1a297187e24ae755a.png
[2]: https://habrahabr.ru/post/335382/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

6 сентября 2017 года стартует 2 запуск открытого курса OpenDataScience по анализу данных и машинному обучению. На этот раз будут проводиться и живые лекции, площадкой выступит московский офис Mail.Ru Group.



![][1]



Если коротко, то курс состоит из серии статей на Хабре ([вот][2] первая), воспроизводимых материалов (Jupyter notebooks, вот [github-репозиторий][3] курса), домашних заданий, соревнований Kaggle Inclass, тьюториалов и индивидуальных проектов по анализу данных. [Здесь][4] можно записаться на курс, а [тут][5] — вступить в сообщество OpenDataScience, где будет проходить все общение в течение курса (канал #mlcourse\_open в Slack ODS). А если поподробней, то это вам под кат.

[Читать дальше →][6]

[1]: https://habrastorage.org/web/687/dfe/6c0/687dfe6c0f7549abb0179c90b23c5884.jpg
[2]: https://habrahabr.ru/company/ods/blog/322626/
[3]: http://github.com/Yorko/mlcourse_open
[4]: https://docs.google.com/forms/d/e/1FAIpQLSdBk_BnCZbooF2qIUOPK0JbBibVgDWjOE4zQpC9oh_Jv8YcXw/viewform
[5]: http://ods.ai/
[6]: https://habrahabr.ru/post/334960/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

![image][1]

Привет, Хабр! Надеемся, этим летом не смотря на плохую погоду Вам удалось отдохнуть. Близится осень — самое время поучиться. С учетом предыдущих курсов — мы сильно обновили нашу программу — добавили множество практических занятий, больше говорим про практические кейсы. В этом посте хотелось бы подробно рассказать про все нововведения. Для тех, у кого мало времени:

* **Снизилась цена**
* **8 дополнительных практических семинаров**
* **Дополнительные занятия про бизнес**
* **Занятия по Deep Learning**
* **Доступно удаленное обучение**
* **Плюс 2 занятия в Вводном курсе**[Читать дальше →][2]

[1]: https://habrastorage.org/files/950/44e/4db/95044e4db2984660a962fa2b22d78c24.jpg
[2]: https://habrahabr.ru/post/335394/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

Однажды я отправился на поиск учебных руководств по аутентификации в Node.js/Express.js, но, к сожалению, не смог найти ни одного, которое меня бы полностью устроило. Некоторые были неполными, некоторые содержали ошибки в сфере безопасности, вполне способные навредить неопытным разработчикам.

Сразу скажу, что я всё ещё нахожусь в поиске надёжного, всеобъемлющего решения для аутентификации в Node/Express, которое способно составить конкуренцию [Devise][1] для Rails. Однако, удручающая ситуация в сфере руководств подвигла меня на подготовку этого материала. Тут я разберу некоторые наиболее распространённые ошибки в области аутентификации и расскажу о том, как их избежать.

![image][2]
[Читать дальше →][3]

[1]: https://github.com/plataformatec/devise
[2]: https://habrastorage.org/getpro/habr/post_images/f6d/5a7/9fe/f6d5a79fe31d7aa7b7d7b97ca69fdd01.jpg
[3]: https://habrahabr.ru/post/335434/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

Привет! Меня зовут Ваня. За последние 10 лет меня покидало по разным специализациям. Я занимался и фул стек веб-разработкой, и мобильными приложениями, а последние лет 5 — играми. Теперь вот в Microsoft занесло. Хочу поделиться историей о том как менялось мое отношение к разным особенностям профессии.



![][1]

[Читать дальше →][2]

[1]: https://habrastorage.org/getpro/habr/post_images/aec/b63/d14/aecb63d141c1b19c7dad5fb739424b63.png
[2]: https://habrahabr.ru/post/335426/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut

Привет Хабр! Предлагаю вашему вниманию свободный перевод статьи «[Good code is its own best documentation][1]» от [Amit Shekhar][2].

![image][3]

Хороший код, как хорошая шутка — не требует объяснений.
[Читать дальше →][4]

[1]: https://blog.mindorks.com/good-code-vs-bad-code-263f71e867c1
[2]: https://blog.mindorks.com/@amitshekhar
[3]: https://habrastorage.org/getpro/habr/post_images/b90/981/8ae/b909818ae75ad40b3e5a2493960907ab.png
[4]: https://habrahabr.ru/post/335400/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut