Главная » Подключение » Как настроить сбор почты с яндекса. Как настроить сбор почты на Яндекс с любых других ящиков? Если нужно лишь включить пересылку новых писем

Как настроить сбор почты с яндекса. Как настроить сбор почты на Яндекс с любых других ящиков? Если нужно лишь включить пересылку новых писем

Если автоматически настроить соединение сборщика с сервером невозможно

Первый сбор почты произойдет в течение нескольких минут после того, как вы настроите сборщик. Сборщик обращается к другому почтовому серверу от нескольких раз в час до раза в несколько дней. Вручную установить или изменить время сбора нельзя. Оно зависит от используемого протокола (POP3 или IMAP), а также от особенностей работы сервера, с которого собирается почта. Именно поэтому письма могут приходить с задержкой.

Собрать почту с другого ящика на Яндексе

Собирать новые письма

Если вы хотите собирать почту с другого вашего ящика на Яндексе, вы можете настроить в нем правило пересылки . После подтверждения правила все новые письма будут перенаправляться в ваш текущий ящик.

Забрать старую почту

Чтобы собрать старые письма с другого ящика на Яндексе:

Выбрать папку для сбора писем

    Подтвердите удаление.

Отредактировать настройки сборщика

Чтобы отключить сборщик, перейдите на страницу Сбор почты и нажмите ссылку выкл .

Если сборщик больше не нужен, нажмите на название сборщика, а затем на ссылку Удалить .

Написать письмо от имени подключенного ящика

Если вы хотите, чтобы письмо для получателя пришло с вашего адреса электронной почты на другом сервисе (например, Gmail или Mail.Ru), добавьте этот адрес на странице Адреса электронной почты и подтвердите доступ к нему. После подтверждения вы сможете выбрать в поле От кого не только алиас вашего адреса на Яндексе , но и адрес почты на другом сервисе.

Внимание. Если вы добавляете адрес ящика на другом почтовом сервисе, настройте сбор писем с него в ящик на Яндексе. Без настроенного сборщика отправлять письма с такого адреса не получится. При настройке сборщика вместо логина укажите адрес полностью, например [email protected] .

Если даже при корректно настроенном сборщике у вас не получается отправлять письма с адреса на другом почтовом сервисе, это значит, что правила безопасности этого сервиса запрещают отправлять письма через другие почтовые сервисы, в том числе и через Яндекс.Почту.

Что можно делать с собранными письмами

С собранными письмами можно делать все то же самое, что и с другими письмами в ящике, но есть особенности:

Удаление писем

Если удалить собранное письмо, оно удалится только из того ящика, куда было собрано. В исходном ящике письмо останется.

Правила обработки писем

Правила обработки работают только для писем, собранных в папку Входящие . Если письмо собрано в другую папку, правило для него не сработает.

Черный список

Черный список не работает для собранных с другого вашего ящика писем. Чтобы заблокировать такие письма, перейдите в почтовый ящик, с которого собираются письма, и в нем настройте черный список.

Не работает сбор писем

Это пошаговое руководство поможет вам решить проблемы, связанные с работой сборщика писем. Прежде чем приступить, откройте Яндекс.Почту в новой вкладке , чтобы выполнять рекомендации.

Выберите проблему:

Уточните, сборщик раньше собирал письма?

    Отключите сборщик почты: перейдите на страницу Сбор почты и нажмите ссылку выкл .

    Подождите 2-3 часа.

    Включите сборщик обратно.

Смените пароль в почтовом ящике, с которого собираются письма. После\\n этого подождите 2-3 часа - столько времени требуется, чтобы новый пароль\\n точно заработал.\\n

    \\n \\n

    Нажмите на название сборщика в списке подключенных ящиков, а затем\\n нажмите ссылку Настроить .

    \\n \\n

    В Параметрах соединения введите новый\\n пароль.

    \\n \\n
\\n \\n \\n Письма не собираются с ящика на Gmail \\n \\n
    \\n

    На странице Безопасность и вход установите переключатель\\n Ненадежные приложения в положение Ненадежные\\n приложения разрешены .

    \\n \\n \\n
\\n

Подключите сборщик почты заново, уже с новым паролем:

    \\n \\n

    Нажмите на название сборщика в списке подключенных ящиков, а затем нажмите ссылку\\n Настроить .

    \\n \\n

    В Параметрах соединения введите новый пароль.

    \\n \\n
\\n \\n \\n \\n\\n

Проверьте, что в настройках вашего почтового ящика на Яндексе включен доступ\\\\n по протоколам POP3 или IMAP:

\\\\n

Убедитесь, что в настройках почтового ящика, с которого собираются письма,\\\\n активирован доступ по протоколам POP3 или IMAP.

\\\\n \\\\n \\\\n

Rambler

\\\\n \\\\n \\\\n \\\\n

Gmail

    \\\\n
  1. Пересылки и\\\\n POP/IMAP .

    \\\\n

    В блоке Доступ по протоколу POP (пункт\\\\n Состояние ) установите переключатель в положение\\\\n Включить POP для всех писем (даже для тех, которые уже\\\\n загружены) .

    \\\\n

    В блоке Доступ по протоколу IMAP (пункт\\\\n Состояние ) установите переключатель в положение\\\\n Включить IMAP .

    \\\\n \\\\n
\\\\n

\\\\n \\\\n \\\\n \\\\n

Mail.ru

В почтовом сервисе Mail.ru доступ к протоколам IMAP и POP3 активирован по\\\\n умолчанию.

\\\\n \\\\n \\\\n \\\\n

Outlook.com (hotmail.com)

Почтовый сервис Outlook.com может передавать письма только по протоколу POP. Чтобы\\\\n активировать доступ по протоколу POP:

\\\\n \\\\n \\\\n \\\\n

Yahoo

Почтовый сервис Yahoo может передавать письма только по протоколу IMAP. Этот протокол\\\\n включен по умолчанию.

\\\\n \\\\n \\\\n \\\\n\\\\n

Если вашего почтового сервиса нет в списке, обратитесь за информацией в службу\\\\n поддержки этого сервиса.

Возможно, возникли проблемы на том почтовом сервисе, с\\\\\\\\n ящика на котором собираются письма. Чтобы решить проблему,\\\\\\\\n настройте пересылку с того почтового ящика, с которого\\\\\\\\n собираются письма. Перед настройкой пересылки отключите\\\\\\\\n сборщик на Яндексе - иначе письма будут приходить в\\\\\\\\n двойном экземпляре.\\\\\\\\n

Чтобы узнать, как настроить пересылку писем с другого\\\\\\\\n почтового ящика в ящик на Яндексе, обратитесь к разделу\\\\\\\\n помощи другого почтового сервиса.

\\\\\\\\n "}]}}\\\\">

Возможно, возникли проблемы на том почтовом сервисе, с\\\\n ящика на котором собираются письма. Чтобы решить проблему,\\\\n настройте пересылку с того почтового ящика, с которого\\\\n собираются письма. Перед настройкой пересылки отключите\\\\n сборщик на Яндексе - иначе письма будут приходить в\\\\n двойном экземпляре.


\\\\n \\\\n "}]}}\\">
    \\n \\n

    \\n \\n \\n

    Rambler

    \\n \\n \\n \\n

    Gmail

      \\n
    1. Перейдите в настройки ящика Gmail, а затем на вкладку Пересылки и\\n POP/IMAP .

      \\n

      В блоке Доступ по протоколу POP .

      \\n

      В блоке Доступ по протоколу IMAP

      \\n \\n
    \\n

    \\n \\n \\n \\n

    Mail.ru

    \\n \\n \\n \\n

    Outlook.com (hotmail.com)

    \\n \\n \\n \\n

    Yahoo

    \\n \\n \\n \\n\\n

    Чтобы узнать, как настроить пересылку писем с другого\\\\n почтового ящика в ящик на Яндексе, обратитесь к разделу\\\\n помощи другого почтового сервиса.

    \\\\n "}]}}\\">


    \\n
\\n

\\n\\n "}]}}\">

Смените пароль в почтовом ящике, с которого собираются письма. После этого подождите 2-3 часа - столько времени требуется, чтобы новый пароль точно заработал.

Подключите сборщик почты заново, уже с новым паролем:

    В Параметрах соединения введите новый пароль.

Письма не собираются с ящика на Gmail

Если вы настроили сбор писем с ящика на Gmail:

    На странице Безопасность и вход установите переключатель Ненадежные приложения в положение Ненадежные приложения разрешены .

Подключите сборщик почты заново, уже с новым паролем:

    Нажмите на название сборщика в списке подключенных ящиков, а затем нажмите ссылку Настроить .

    В Параметрах соединения введите новый пароль.

Проверьте, что в настройках вашего почтового ящика на Яндексе включен доступ\\n по протоколам POP3 или IMAP:

\\n

Убедитесь, что в настройках почтового ящика, с которого собираются письма,\\n активирован доступ по протоколам POP3 или IMAP.

\\n \\n \\n

Rambler

\\n \\n \\n \\n

Gmail

    \\n
  1. Перейдите в настройки ящика Gmail, а затем на вкладку Пересылки и\\n POP/IMAP .

    \\n

    В блоке Доступ по протоколу POP (пункт\\n Состояние ) установите переключатель в положение\\n Включить POP для всех писем (даже для тех, которые уже\\n загружены) .

    \\n

    В блоке Доступ по протоколу IMAP (пункт\\n Состояние ) установите переключатель в положение\\n Включить IMAP .

    \\n \\n
\\n

\\n \\n \\n \\n

Mail.ru

В почтовом сервисе Mail.ru доступ к протоколам IMAP и POP3 активирован по\\n умолчанию.

\\n \\n \\n \\n

Outlook.com (hotmail.com)

Почтовый сервис Outlook.com может передавать письма только по протоколу POP. Чтобы\\n активировать доступ по протоколу POP:

\\n \\n \\n \\n

Yahoo

Почтовый сервис Yahoo может передавать письма только по протоколу IMAP. Этот протокол\\n включен по умолчанию.

\\n \\n \\n \\n\\n

Если вашего почтового сервиса нет в списке, обратитесь за информацией в службу\\n поддержки этого сервиса.

Возможно, возникли проблемы на том почтовом сервисе, с\\\\n ящика на котором собираются письма. Чтобы решить проблему,\\\\n настройте пересылку с того почтового ящика, с которого\\\\n собираются письма. Перед настройкой пересылки отключите\\\\n сборщик на Яндексе - иначе письма будут приходить в\\\\n двойном экземпляре.\\\\n

Чтобы узнать, как настроить пересылку писем с другого\\\\n почтового ящика в ящик на Яндексе, обратитесь к разделу\\\\n помощи другого почтового сервиса.

\\\\n "}]}}\\">

Возможно, возникли проблемы на том почтовом сервисе, с\\n ящика на котором собираются письма. Чтобы решить проблему,\\n настройте пересылку с того почтового ящика, с которого\\n собираются письма. Перед настройкой пересылки отключите\\n сборщик на Яндексе - иначе письма будут приходить в\\n двойном экземпляре.

Чтобы узнать, как настроить пересылку писем с другого\\n почтового ящика в ящик на Яндексе, обратитесь к разделу\\n помощи другого почтового сервиса.


\\n \\n "}]}}\">

    Rambler

    Gmail

    1. Перейдите в настройки ящика Gmail, а затем на вкладку Пересылки и POP/IMAP .

      В блоке Доступ по протоколу POP .

      В блоке Доступ по протоколу IMAP

    Mail.ru

    Outlook.com (hotmail.com)

    Yahoo

    Возможно, возникли проблемы на том почтовом сервисе, с\\n ящика на котором собираются письма. Чтобы решить проблему,\\n настройте пересылку с того почтового ящика, с которого\\n собираются письма. Перед настройкой пересылки отключите\\n сборщик на Яндексе - иначе письма будут приходить в\\n двойном экземпляре.\\n

    Чтобы узнать, как настроить пересылку писем с другого\\n почтового ящика в ящик на Яндексе, обратитесь к разделу\\n помощи другого почтового сервиса.

    \\n "}]}}\">

    Возможно, возникли проблемы на том почтовом сервисе, с ящика на котором собираются письма. Чтобы решить проблему, настройте пересылку с того почтового ящика, с которого собираются письма. Перед настройкой пересылки отключите сборщик на Яндексе - иначе письма будут приходить в двойном экземпляре.

    Чтобы узнать, как настроить пересылку писем с другого почтового ящика в ящик на Яндексе, обратитесь к разделу помощи другого почтового сервиса.




    Проверьте, что в настройках вашего почтового ящика на Яндексе включен доступ по протоколам POP3 или IMAP:

    Убедитесь, что в настройках почтового ящика, с которого собираются письма, активирован доступ по протоколам POP3 или IMAP.

    Rambler

    Gmail

    1. Перейдите в настройки ящика Gmail, а затем на вкладку Пересылки и POP/IMAP .

      В блоке Доступ по протоколу POP (пункт Состояние ) установите переключатель в положение Включить POP для всех писем (даже для тех, которые уже загружены) .

      В блоке Доступ по протоколу IMAP (пункт Состояние ) установите переключатель в положение Включить IMAP .

    Mail.ru

    В почтовом сервисе Mail.ru доступ к протоколам IMAP и POP3 активирован по умолчанию.

    Outlook.com (hotmail.com)

    Почтовый сервис Outlook.com может передавать письма только по протоколу POP. Чтобы активировать доступ по протоколу POP:

    Yahoo

    Почтовый сервис Yahoo может передавать письма только по протоколу IMAP. Этот протокол включен по умолчанию.

    Если вашего почтового сервиса нет в списке, обратитесь за информацией в службу поддержки этого сервиса.

    Проверьте, не установлен ли в настройках ящика запрет на скачивание\\n писем из конкретных папок или писем за конкретный период.\\n

    Почтовая служба Outlook.com (hotmail.com, live.com) разрешает\\n пересылать письма только из папки Входящие .\\n Если вы хранили письма в другой папке, переместите их в папку\\n Входящие .

    \\n "}]}}\">

    Проверьте, не установлен ли в настройках ящика запрет на скачивание писем из конкретных папок или писем за конкретный период.

    Почтовая служба Outlook.com (hotmail.com, live.com) разрешает пересылать письма только из папки Входящие . Если вы хранили письма в другой папке, переместите их в папку Входящие .


    Проверьте, что в настройках вашего почтового ящика на Яндексе включен доступ по протоколам POP3 или IMAP:

    Убедитесь, что в настройках почтового ящика, с которого собираются письма, активирован доступ по протоколам POP3 или IMAP.

    Rambler

    Gmail

    1. Перейдите в настройки ящика Gmail, а затем на вкладку Пересылки и POP/IMAP .

      В блоке Доступ по протоколу POP (пункт Состояние ) установите переключатель в положение Включить POP для всех писем (даже для тех, которые уже загружены) .

      В блоке Доступ по протоколу IMAP (пункт Состояние ) установите переключатель в положение Включить IMAP .

    Mail.ru

    В почтовом сервисе Mail.ru доступ к протоколам IMAP и POP3 активирован по умолчанию.

    Outlook.com (hotmail.com)

    Почтовый сервис Outlook.com может передавать письма только по протоколу POP. Чтобы активировать доступ по протоколу POP:

    Yahoo

    Почтовый сервис Yahoo может передавать письма только по протоколу IMAP. Этот протокол включен по умолчанию.

    Если вашего почтового сервиса нет в списке, обратитесь за информацией в службу поддержки этого сервиса.

    Проверьте правильность вводимого пароля - наберите его в текстовом\\n редакторе, скопируйте и вставьте в поле ввода пароля. Если вы уверены, что\\n пароль верный, но сборщик не подключается, попробуйте авторизоваться в\\n ящике, с которого хотите собирать письма.\\n "}]}}\">

    Проверьте правильность вводимого пароля - наберите его в текстовом редакторе, скопируйте и вставьте в поле ввода пароля. Если вы уверены, что пароль верный, но сборщик не подключается, попробуйте авторизоваться в ящике, с которого хотите собирать письма.


Скорость работы сборщика зависит от количества писем в том ящике, из которого собираются письма, и от работы сервера, на котором находится этот ящик. Задержки в сборе писем могут также происходить из-за особенностей протоколов, по которым работает сборщик.

Чтобы получать письма мгновенно, настройте переадресацию из другого ящика в ящик на Яндексе. Перед настройкой переадресации отключите сборщик - иначе письма будут приходить в двойном экземпляре.

Выбрать папку для сбора писем нельзя в том случае, если вы настроили сборщик по протоколу IMAP - он не предусматривает возможности собирать письма в заданную папку, т.к. копирует структуру папок полностью. Вы можете изменить протокол на POP3, для этого:

    Нажмите на адрес нужного сборщика.

    Подтвердите удаление.

После этого в настройках появится возможность выбрать папку для сбора писем.

Наверное, многие из вас в своей практике сталкивались с задачей сбора почты с ряда ящиков. Зачем это может быть нужно? Наверное, потому что это универсальный механизм обмена данными между системами. Множество библиотек под любые языки, реализующих SMTP, POP3, IMAP, готовые решения по реализации стэка сообщений (как я сложно назвал почтовый ящик...) и т.д.

Неудивительно, что многие интеграционные задачи реализуются именно через почту. Тут в дело вступает некий сервис, который умеет эту почту быстро забирать, категоризировать и выполнять необходимые действия.

Кому достаточно приведенного ниже кода - дальше могут не читать:

Foreach (var mailbox in mailboxes) using (var client = new Pop3Client()) { client.Connect(Hostname, Port, false); client.Authenticate(User, Password); var count = client.GetMessageCount(); for (var i = 0; i < count; i++) { Mail = client.GetMessage(i + 1); var cat = SortMail(Mail); DoSomething(Mail, cat); } }

Что будем делать

Сразу сделаем ряд допущений:
1) Собирать почту нужно для нескольких систем. Может в будущем ещё для нескольких. И ещё… В общем решение должно быть универсальное;
2) Почты возможно будет много - следует из пункта 1 (а иначе я бы не писал этот пост);
3) Почту придется парсить;
4) Все ящики сервисные - пользователи туда не лезут.

Что будем использовать

Система должна работать 24/7, поэтому реализуем её в виде Windows Service. Для этих целей предлагаю сразу использовать TopShelf .

Разумеется, всё должно быть распараллелено. Тут на сцену выходит моя любимая библиотека TPL DataFlow .

Забирать почту будем по POP3. Все «модные штучки» IMAP в данной задаче излишни - надо как можно быстрее и проще забрать исходник письма и удалить его на сервера. POP3 тут хватит за глаза. Используем OpenPop.NET .

В качестве факультатива прикрутим мониторинг в Zabbix . (Мы же собрались работать 24/7 и выдавать хваленую скорость - нужно следить за этим).

Поехали

Создаем обычное консольное приложение. Открываем NuGet консоль и ставим все нужные пакеты:

Install-Package Nlog Install-Package OpenPop.NET Install-Package TopShelf Install-Package Microsoft.TPL.DataFlow
Переходим в папку проекта, создаем App.Debug.config и App.Release.config. Выгружаем проект из студии, открываем его код (Здесь и далее TopCrawler.csproj). В секцию с конфигом добавляем:

Конфигурации

App.config App.config


А ниже собственный таргет для MSBuild:

Transform target

$(TargetFileName).config


Лично я привык именно таким способом - по старинке - добавлять трансформацию конфигов для разделения сред.
Для удобства предлагаю strongly-type конфиги. Отдельный класс будет читать конфигурацию. (О теоретических аспектах такого решения можно пообщаться в комментах). Конфиги, логи, мониторинг - отличный повод реализовать паттерн Singleton.

Создаем в проекте одноименную папку (должен же быть порядок). Внутри создаем 3 класса - Config, Logger, Zabbix. Наш логгер:

Logger

static class Logger { public static NLog.Logger Log { get; private set; } public static NLog.Logger Archive { get; private set; } static Logger() { Log = LogManager.GetLogger("Global"); Archive = LogManager.GetLogger("Archivator"); } }


Мониторинг с помощью Zabbix заслуживает отдельного поста, поэтому я просто оставлю тут класс, реализующий агента:

Zabbix

namespace TopCrawler.Singleton { ///

/// Singleton: zabbix sender class /// static class Zabbix { public static ZabbixSender Sender { get; private set; } static Zabbix() { Sender = new ZabbixSender(Config.ZabbixServer, Config.ZabbixPort); } } struct ZabbixItem { public string Host; public string Key; public string Value; } class ZabbixSender { internal struct SendItem { // ReSharper disable InconsistentNaming - Zabbix is case sensitive public string host; public string key; public string value; public string clock; // ReSharper restore InconsistentNaming } #pragma warning disable 0649 internal struct ZabbixResponse { public string Response; public string Info; } #pragma warning restore 0649 #region --- Constants --- public const string DefaultHeader = "ZBXD\x01"; public const string SendRequest = "sender data"; public const int DefaultTimeout = 10000; #endregion #region --- Fields --- private readonly DateTime _dtUnixMinTime = DateTime.SpecifyKind(new DateTime(1970, 1, 1), DateTimeKind.Utc); private readonly int _timeout; private readonly string _zabbixserver; private readonly int _zabbixport; #endregion #region --- Constructors --- public ZabbixSender(string zabbixserver, int zabbixport) : this(zabbixserver, zabbixport, DefaultTimeout) { } public ZabbixSender(string zabbixserver, int zabbixport, int timeout) { _zabbixserver = zabbixserver; _zabbixport = zabbixport; _timeout = timeout; } #endregion #region --- Methods --- public string SendData(ZabbixItem itm) { return SendData(new List(1) { itm }); } public string SendData(List lstData) { try { var serializer = new JavaScriptSerializer(); var values = new List(lstData.Count); values.AddRange(lstData.Select(itm => new SendItem { host = itm.Host, key = itm.Key, value = itm.Value, clock = Math.Floor((DateTime.Now.ToUniversalTime() - _dtUnixMinTime).TotalSeconds).ToString(CultureInfo.InvariantCulture) })); var json = serializer.Serialize(new { request = SendRequest, data = values.ToArray() }); var header = Encoding.ASCII.GetBytes(DefaultHeader); var length = BitConverter.GetBytes((long)json.Length); var data = Encoding.ASCII.GetBytes(json); var packet = new byte; Buffer.BlockCopy(header, 0, packet, 0, header.Length); Buffer.BlockCopy(length, 0, packet, header.Length, length.Length); Buffer.BlockCopy(data, 0, packet, header.Length + length.Length, data.Length); using (var socket = new Socket(AddressFamily.InterNetwork, SocketType.Stream, ProtocolType.Tcp)) { socket.Connect(_zabbixserver, _zabbixport); socket.Send(packet); //Header var buffer = new byte; ReceivData(socket, buffer, 0, buffer.Length, _timeout); if (DefaultHeader != Encoding.ASCII.GetString(buffer, 0, buffer.Length)) throw new Exception("Invalid header"); //Message length buffer = new byte; ReceivData(socket, buffer, 0, buffer.Length, _timeout); var dataLength = BitConverter.ToInt32(buffer, 0); if (dataLength == 0) throw new Exception("Invalid data length"); //Message buffer = new byte; ReceivData(socket, buffer, 0, buffer.Length, _timeout); var response = serializer.Deserialize(Encoding.ASCII.GetString(buffer, 0, buffer.Length)); return string.Format("Response: {0}, Info: {1}", response.Response, response.Info); } } catch (Exception e) { return string.Format("Exception: {0}", e); } } private static void ReceivData(Socket pObjSocket, byte buffer, int offset, int size, int timeout) { var startTickCount = Environment.TickCount; var received = 0; do { if (Environment.TickCount > startTickCount + timeout) throw new TimeoutException(); try { received += pObjSocket.Receive(buffer, offset + received, size - received, SocketFlags.None); } catch (SocketException ex) { if (ex.SocketErrorCode == SocketError.WouldBlock || ex.SocketErrorCode == SocketError.IOPending || ex.SocketErrorCode == SocketError.NoBufferSpaceAvailable) Thread.Sleep(30); else throw; } } while (received < size); } #endregion } }


Конфиги… Пора уже делать хоть что-то интересное. Во-первых, в конфигах будем хранить ящики, которые мы опрашиваем. Во вторых настройки DataFlow. Предлагаю так:

Конфиги



Итак, хост и порт куда конектится, юзер и пароль - тут всё понятно. Дальше тип ящика. Допустим, служба используется маркетингом (как и другими отделами). У них есть ящики, куда сваливаются автоответы на рассылки, а также отчеты о спаме FBL . Сам ящик уже категоризирует письмо, поэтому для таких ситуаций сразу задаем тип ящика. С настройками DataFlow будет понятно дальше, когда начнем создавать объекты. Тут у нас будут собственные секции в конфиге. Мануалов куча как это сделать, поэтому просто покажу результат:

Определяем типы

#region --- Types --- static class MailboxType { public const string Bo = "bo"; public const string Crm = "crm"; public const string Fbl = "fbl"; public const string Bounce = "bounce"; } class MailboxInfo { public string Type { get; set; } public string Hostname { get; set; } public string User { get; set; } public string Password { get; set; } public int Port { get; set; } } class DataBlockOptions { public int Maxdop { get; set; } public int BoundedCapacity { get; set; } public DataBlockOptions() { Maxdop = 1; BoundedCapacity = 1; } } #endregion


Создаем секции

///

/// Custom config section /// public class CustomSettingsConfigSection: ConfigurationSection { public CredentialsCollection CredentialItems { get { return base["CredentialsList"] as CredentialsCollection; } } public DataBlockOptionsCollection DataFlowOptionsItems { get { return base["DataFlowOptionsList"] as DataBlockOptionsCollection; } } }


///

/// Custom collection - credentials list /// public class CredentialsCollection: ConfigurationElementCollection, IEnumerable { protected override ConfigurationElement CreateNewElement() { return new CredentialsElement(); } protected override object GetElementKey(ConfigurationElement element) { return ((CredentialsElement)element).Username; } public CredentialsElement this { get { return BaseGet(index) as CredentialsElement; } } public new IEnumerator < Count; i++) { yield return BaseGet(i) as CredentialsElement; } } } /// /// Custom credentials item /// public class CredentialsElement: ConfigurationElement { public string Hostname { get { return base["hostname"] as string; } } public string Username { get { return base["username"] as string; } } public string Password { get { return base["password"] as string; } } public string Type { get { return base["type"] as string; } } public string Port { get { return base["port"] as string; } } } /// /// Custom collection - DataBlock options list /// public class DataBlockOptionsCollection: ConfigurationElementCollection, IEnumerable { protected override ConfigurationElement CreateNewElement() { return new DataBlockOptionsElement(); } protected override object GetElementKey(ConfigurationElement element) { return ((DataBlockOptionsElement)element).Name; } public CredentialsElement this { get { return BaseGet(index) as CredentialsElement; } } public new IEnumerator GetEnumerator() { for (var i = 0; i < Count; i++) { yield return BaseGet(i) as DataBlockOptionsElement; } } } /// /// Custom DataBlock options item /// public class DataBlockOptionsElement: ConfigurationElement { public string Name { get { return base["name"] as string; } } public string Maxdop { get { return base["maxdop"] as string; } } public string BoundedCapacity { get { return base["boundedcapacity"] as string; } } }


Полную реализацию конфига писать не буду, подразумевается, что в процессе разработки туда будут добавляться нужные нам параметры.

Наши кастомные настройки прочитаем так:

Читаем

public List CredentialsList { get; private set; } public Dictionary DataFlowOptionsList { get; private set; } ... static Config() { try { var customConfig = (CustomSettingsConfigSection)ConfigurationManager.GetSection("CustomSettings"); //Get mailboxes foreach (var item in customConfig.CredentialItems) CredentialsList.Add(new MailboxInfo { Hostname = item.Hostname, Port = Convert.ToInt32(item.Port), User = item.Username, Type = item.Type, Password = item.Password }); //Get DataFlow settings foreach (var item in customConfig.DataFlowOptionsItems) DataFlowOptionsList.Add(item.Name, new DataBlockOptions { Maxdop = Convert.ToInt32(item.Maxdop), BoundedCapacity = Convert.ToInt32(item.BoundedCapacity) }); } catch (Exception ex) { Logger.Log.Fatal("Error at reading config: {0}", ex.Message); throw; } }


Как-то очень затянуто получается, а мы даже не дошли до самого интересного.

Опустим пока обвязку из TopShelf, счетчики производительности, общение с БД и перейдем к делу! Создаем класс Crawler - ядро. Для начала читаем почту:

Private volatile bool _stopPipeline; ... public void Start() { do { var getMailsTasks = _config.CredentialsList.Select(credentials => Task.Run(() => GetMails(credentials))).ToList(); foreach (var task in getMailsTasks) task.Wait(); Thread.Sleep(2000); } while (!_stopPipeline); //Stop pipeline - wait for completion of all endpoints //Тут будет остановка DataFlow конвейера if (_stopPipeline) Logger.Log.Warn("Pipeline has been stopped by user"); }
Вот тут лень взяла свое и я решил не заморачиваться - если ящиков порядка 20-30 можно под каждый запустить таск и не париться о количестве потоков. (Разрешаю закидать помидорами.)

Переходим к самому чтению:

Private void GetMails(MailboxInfo info) { try { using (var client = new Pop3Client()) {
Сразу посчитаем тайминги доступа к ящику - пригодится для диагностики сети и загруженности сервера.

//Get Zabbix metrics var stopwatch = new Stopwatch(); stopwatch.Start(); //Get mail count client.Connect(info.Hostname, info.Port, false); client.Authenticate(info.User, info.Password); stopwatch.Stop();
Отправляем данные в Zabbix. Всё просто - указываем имя хоста (как оно заведено в Zabbix), ключ (опять таки строго, как в Zabbix) и строковое значение.

//Send it to Zabbix Zabbix.Sender.SendData(new ZabbixItem { Host = Config.HostKey, Key = info.Type + Config.TimingKey, Value = stopwatch.ElapsedMilliseconds.ToString() }); Logger.Log.Debug("Send [{0}] timing to Zabbix: connected to "{1}" as "{2}", timing {3}ms", info.Type, info.Hostname, info.User, stopwatch.ElapsedMilliseconds); var count = client.GetMessageCount(); if (count == 0) return; Logger.Log.Debug("We"ve got new {0} messages in "{1}"", count, info.User); //Send messages to sorting block for (var i = 0; i < count; i++) { try { var mailInfo = new MessageInfo { IsSpam = false, Mail = client.GetMessage(i + 1), Type = MessageType.UNKNOWN, Subtype = null, Recipient = null, Mailbox = info }; Logger.Log.Debug("Download message from "{0}". Size: {1}b", info.User, mailInfo.Mail.RawMessage.Length);
DataFlow pipeline будет создана при создании класса Crawler. Считаем, что наш первый этап - отсортировать письмо.

While (!_sortMailDataBlock.Post(mailInfo)) Thread.Sleep(500);
Видите, как просто - сам конвейер один. Все таски, читающие почту, кидают туда сообщения по одному. Если блок занят, Post вернет false и мы просто подождем пока он не освободится. Текущий потом в это время продолжает работать. Вот это я называю параллелизм без забот.

Сообщение ушло на конвейер, теперь его можно со спокойной душой сохранить в RAW архив (да-да! всё, что читаем - сохраняем в файловый архив. Служба поддержки нам потом скажет спасибо).

Настроим, например, ротацию архива:

NLog.config



Потом на него можно натравить logStash , но это уже другая история…

//Save every mail to archive Logger.Log.Debug("Archive message"); Logger.Archive.Info(Functions.MessageToString(mailInfo.Mail)); } catch (Exception ex) { Logger.Log.Error("Parse email error: {0}", ex.Message); Functions.ErrorsCounters.Increment(); //Archive mail anyway Logger.Log.Debug("Archive message"); Logger.Archive.Info(Encoding.Default.GetString(client.GetMessageAsBytes(i + 1))); } if (_config.DeleteMail) client.DeleteMessage(i + 1); if (_stopPipeline) break; } Logger.Log.Debug("Done with "{0}"", info.User); } } catch (Exception ex) { Logger.Log.Error("General error - type: {0}, message: {1}", ex, ex.Message); Functions.ErrorsCounters.Increment(); } }
Здесь мы использовали статические счетчики ошибок (в разрезе типов ящиков), где ErrorsCounters - это:

Public static Dictionary ErrorsCounters = new Dictionary();
А сами счетчики можно сделать так:

Counter.cs

class Counter { private long _counter; public Counter() { _counter = 0; } public void Increment() { Interlocked.Increment(ref _counter); } public long Read() { return _counter; } public long Refresh() { return Interlocked.Exchange(ref _counter, 0); } public void Add(long value) { Interlocked.Add(ref _counter, value); } public void Set(long value) { Interlocked.Exchange(ref _counter, value); } }


Перейдем к созданию конвейера. Допустим, у нас есть ящики, куда сыпятся автоответы. Такие письма надо распарсить (что за автоответ, от кого, по какой рассылке и т.д.) и сложить результат в хранилище (БД). Допустим, есть ящики, куда падают FBL отчеты. Такие письма сразу складываем в базу. Все прочие письма считаем «полезными» - их надо проверить на спам и отправить во внешнюю систему, например, CRM.

Как вы уже поняли, данный пример в основном рассматривает применение сборщика для задач маркетинга - сбор статистики по доставке почты, информация о спаме.

Итак, мы определились с рабочим потоком. Объявляем необходимые блоки в классе Crawler:

Class MessageInfo { public bool IsSpam { get; set; } public Message Mail { get; set; } public string Subtype { get; set; } public string Recipient { get; set; } public MessageType Type { get; set; } public MailboxInfo Mailbox { get; set; } } class Crawler { //Pipeline private TransformBlock _sortMailDataBlock; private TransformBlock _spamFilterDataBlock; private TransformBlock _checkBounceDataBlock; private TransformBlock _identifyDataBlock; private ActionBlock _addToCrmDataBlock; private ActionBlock _addToFblDataBlock; private ActionBlock _addToBounceDataBlock; ...
Создаем метод инициализации и создаем блоки конвейера (для инициализации блоков используем наши замечательные секции из конфигов):

Public void Init() { //*** Create pipeline *** //Create TransformBlock to get message type var blockOptions = _config.GetDataBlockOptions("_sortMailDataBlock"); _sortMailDataBlock = new TransformBlock(mail => SortMail(mail), new ExecutionDataflowBlockOptions { MaxDegreeOfParallelism = blockOptions.Maxdop, BoundedCapacity = blockOptions.BoundedCapacity }); //Create TransformBlock to filter spam blockOptions = _config.GetDataBlockOptions("_spamFilterDataBlock"); _spamFilterDataBlock = new TransformBlock(mail => FilterSpam(mail), new ExecutionDataflowBlockOptions { MaxDegreeOfParallelism = blockOptions.Maxdop, BoundedCapacity = blockOptions.BoundedCapacity }); //Create TransformBlock to sort bounces blockOptions = _config.GetDataBlockOptions("_checkBounceDataBlock"); _checkBounceDataBlock = new TransformBlock(mail => BounceTypeCheck(mail), new ExecutionDataflowBlockOptions { MaxDegreeOfParallelism = blockOptions.Maxdop, BoundedCapacity = blockOptions.BoundedCapacity }); //Create TransformBlock to identify bounce owner blockOptions = _config.GetDataBlockOptions("_identifyDataBlock"); _identifyDataBlock = new TransformBlock(mail => GetRecipient(mail), new ExecutionDataflowBlockOptions { MaxDegreeOfParallelism = blockOptions.Maxdop, BoundedCapacity = blockOptions.BoundedCapacity }); //Create ActionBlock to send mail to CRM blockOptions = _config.GetDataBlockOptions("_addToCrmDataBlock"); _addToCrmDataBlock = new ActionBlock(mail => AddToCrm(mail), new ExecutionDataflowBlockOptions { MaxDegreeOfParallelism = blockOptions.Maxdop, BoundedCapacity = blockOptions.BoundedCapacity }); //Create ActionBlock to send FBL to MailWH blockOptions = _config.GetDataBlockOptions("_addToFblDataBlock"); _addToFblDataBlock = new ActionBlock(mail => AddToFbl(mail), new ExecutionDataflowBlockOptions { MaxDegreeOfParallelism = blockOptions.Maxdop, BoundedCapacity = blockOptions.BoundedCapacity }); //Create ActionBlock to send Bounce to MailWH blockOptions = _config.GetDataBlockOptions("_addToBounceDataBlock"); _addToBounceDataBlock = new ActionBlock(mail => AddToBounce(mail), new ExecutionDataflowBlockOptions { MaxDegreeOfParallelism = blockOptions.Maxdop, BoundedCapacity = blockOptions.BoundedCapacity });
Собираем конвейер в соответствии с нашей схемой:

//*** Build pipeline *** _sortMailDataBlock.LinkTo(_spamFilterDataBlock, info => info.Type == MessageType.GENERAL); _sortMailDataBlock.LinkTo(_addToFblDataBlock, info => info.Type == MessageType.FBL); _sortMailDataBlock.LinkTo(_checkBounceDataBlock, info => info.Type == MessageType.BOUNCE); _sortMailDataBlock.LinkTo(DataflowBlock.NullTarget(), info => info.Type == MessageType.UNKNOWN); /*STUB*/ _checkBounceDataBlock.LinkTo(_identifyDataBlock); _identifyDataBlock.LinkTo(_addToBounceDataBlock); _spamFilterDataBlock.LinkTo(_addToCrmDataBlock, info => !info.IsSpam); _spamFilterDataBlock.LinkTo(DataflowBlock.NullTarget(), info => info.IsSpam); /*STUB*/
Как видим, всё предельно просто - связываем блок со следующим (с возможностью задания условия связи). Все блоки исполняются параллельно. Каждый блок имеет степень параллелизма и емкость (с помощью емкости можно регулировать очередь перед блоком, то есть блок сообщение принял, но еще не обрабатывает). Таким образом, можно задавать высокую степень параллелизма для «сложных» и долгих операций, как, например, парсинг содержимого письма.

Не буду описывать матчасть DataFlow, лучше всё прочесть в первоисточнике TPL DataFlow .

SortMailDataBlock.Completion.ContinueWith(t => { if (t.IsFaulted) ((IDataflowBlock)_spamFilterDataBlock).Fault(t.Exception); else _spamFilterDataBlock.Complete(); }); _sortMailDataBlock.Completion.ContinueWith(t => { if (t.IsFaulted) ((IDataflowBlock)_addToFblDataBlock).Fault(t.Exception); else _addToFblDataBlock.Complete(); }); _sortMailDataBlock.Completion.ContinueWith(t => { if (t.IsFaulted) ((IDataflowBlock)_checkBounceDataBlock).Fault(t.Exception); else _checkBounceDataBlock.Complete(); }); _spamFilterDataBlock.Completion.ContinueWith(t => { if (t.IsFaulted) ((IDataflowBlock)_addToCrmDataBlock).Fault(t.Exception); else _addToCrmDataBlock.Complete(); }); _checkBounceDataBlock.Completion.ContinueWith(t => { if (t.IsFaulted) ((IDataflowBlock)_identifyDataBlock).Fault(t.Exception); else _identifyDataBlock.Complete(); }); _identifyDataBlock.Completion.ContinueWith(t => { if (t.IsFaulted) ((IDataflowBlock)_addToBounceDataBlock).Fault(t.Exception); else _addToBounceDataBlock.Complete(); }); }
Всё, на самом деле конвейер уже работает, можно постить в него сообщения. Осталось только остановить его дополнив наш метод Start:

Start

public void Start() { do { var getMailsTasks = _config.CredentialsList.Select(credentials => Task.Run(() => GetMails(credentials))).ToList(); foreach (var task in getMailsTasks) task.Wait(); Thread.Sleep(2000); } while (!_stopPipeline); //Stop pipeline - wait for completion of all endpoints _sortMailDataBlock.Complete(); _addToCrmDataBlock.Completion.Wait(); _addToFblDataBlock.Completion.Wait(); _addToBounceDataBlock.Completion.Wait(); if (_stopPipeline) Logger.Log.Warn("Pipeline has been stopped by user"); }


Переходим к делегатам.
Сортировка… Ну, допустим у нас всё просто (усложнить то всегда успеем):

Private MessageInfo SortMail(MessageInfo mail) { switch (mail.Mailbox.Type) { case MailboxType.Crm: mail.Type = MessageType.GENERAL; break; case MailboxType.Bounce: mail.Type = MessageType.BOUNCE; break; case MailboxType.Fbl: mail.Type = MessageType.FBL; break; } return mail; }
Спам фильтр. Это на домашнюю работу - используйте SpamAssassin .
Вот вам делегат:

Private MessageInfo FilterSpam(MessageInfo mail) { //TODO: Add SpamAssassin logic return mail; }
И классы для работы с API SpamAssassin (ссылка на проект).
А мы переходим к парсингу писем. Парсим мы автоответы. Тут вступает в дело MEF.
Создаем проект (dll) с интерфейсами для наших плагинов (Назовем Interfaces).
Добавляем интерфейс:

Public interface ICondition { string Check(Message mimeMessage); } public interface IConditionMetadata { Type Type { get; } }
И… всё. Наш TopCrawler зависит от этого проекта и проект с плагинами тоже будет использовать его.
Создаем новый проект (тоже dll), назовем Conditions.
Добавим типы автоответов:

#region --- Types --- static class BounceType { public const string Full = "BounceTypeFull"; public const string Timeout = "BounceTypeTimeout"; public const string Refused = "BounceTypeRefused"; public const string NotFound = "BounceTypeNotFound"; public const string Inactive = "BounceTypeInactive"; public const string OutOfOffice = "BounceTypeOutOfOffice"; public const string HostNotFound = "BounceTypeHostNotFound"; public const string NotAuthorized = "BounceTypeNotAuthorized"; public const string ManyConnections = "BounceTypeManyConnections"; } #endregion
И классы, реализующие наш интерфейс:

Public class ConditionNotFound1: ICondition { public string Check(Message mimeMessage) { if (!mimeMessage.MessagePart.IsMultiPart) return null; const string pattern = "Diagnostic-Code:.+smtp.+550"; var regexp = new Regex(pattern, RegexOptions.IgnoreCase); return mimeMessage.MessagePart.MessageParts.Any(part => part.ContentType.MediaType == "message/delivery-status" && regexp.IsMatch(part.GetBodyAsText())) ? BounceType.NotFound: null; } } ... public class ConditionTimeout2: ICondition { return BounceType.Timeout; } ...
Как вы заметилиб всё дело в атрибутах. С помощью них плагины и будут загружены.
Возвращаемся к нашему проекту и загружаем плагины:

Class Crawler { ... //Plugins public IEnumerable> BounceTypeConditions { get; set; } private void LoadPlugins() { try { var container = new CompositionContainer(new DirectoryCatalog(_config.PluginDirectory), true); container.ComposeParts(this); } catch (Exception ex) { Logger.Log.Error("Unable to load plugins: {0}", ex.Message); } } ...
LoadPlugins дергаем в конструкторе нашего класса. Объяснять подробно про механизм загрузки не буду - гугл справится лучше.

Переходим к нашему делегату проверки типа Bounce. Условия будут применяться по очереди, пока не сработает первое - исключающий метод:

Private MessageInfo BounceTypeCheck(MessageInfo mailInfo) { try { foreach (var condition in BounceTypeConditions) { var res = condition.Value.Check(mailInfo.Mail); if (res == null) continue; mailInfo.Subtype = res; Logger.Log.Debug("Bounce type condition [{0}] triggered for message [{1}]", condition.Metadata.Type, mailInfo.Mail.Headers.MessageId); break; } } catch (Exception ex) { Logger.Log.Error("Failed to determine bounce type for message "{0}": {1}", mailInfo.Mail.Headers.MessageId, ex.Message); Logger.ErrorsCounters.Increment(); } return mailInfo; }
Таким образомб если появляется новая логикаб достаточно просто добавить в проект с плагинами новый класс, реализующий наш интерфейс и - вуаля! Пример второго плагина по определению отправителя письма прикладывать не буду - итак уже длинный пост (Автоответ сгенерировал сам сервер, поэтому отправителя тоже надо распарсить из заголовков письма) .

С записью результатов в БД тоже ничего необычного. Например, так:

Private void AddToBounce(MessageInfo mail) { try { MailWH.BounceAdd(mail); Functions.ProcessedCounters.Increment(); Functions.Log.Debug("Send Bounce to MailWH"); } catch (Exception ex) { Functions.Log.Error("Error saving Bounce message "{0}" to MailWH: {1}", mail.Mail.Headers.MessageId, ex.Message); Functions.ErrorsCounters.Increment(); } }

BounceAdd

public static long BounceAdd(MessageInfo message) { using (var conn = new SqlConnection(ConnectionString)) using (var cmd = new SqlDataAdapter("BounceAdd", conn)) { var body = message.Mail.FindFirstPlainTextVersion() == null ? message.Mail.FindFirstHtmlVersion().GetBodyAsText() : message.Mail.FindFirstPlainTextVersion().GetBodyAsText(); var outId = new SqlParameter("@ID", SqlDbType.BigInt) { Direction = ParameterDirection.Output }; cmd.SelectCommand.CommandType = CommandType.StoredProcedure; cmd.SelectCommand.Parameters.Add(new SqlParameter("@RawMessage", message.Mail.RawMessage)); cmd.SelectCommand.Parameters.Add(new SqlParameter("@Message", body)); cmd.SelectCommand.Parameters.Add(new SqlParameter("@Subject", message.Mail.Headers.Subject ?? "")); cmd.SelectCommand.Parameters.Add(new SqlParameter("@MessageID", message.Mail.Headers.MessageId ?? "")); cmd.SelectCommand.Parameters.Add(new SqlParameter("@AddressTo", message.Mail.Headers.To.Address ?? "")); cmd.SelectCommand.Parameters.Add(new SqlParameter("@AddressFrom", message.Mail.Headers.From.Address ?? "")); cmd.SelectCommand.Parameters.Add(new SqlParameter("@DateRecieved", DateTime.Now)); cmd.SelectCommand.Parameters.Add(new SqlParameter("@BounceTypeSysName", (object)message.Subtype ?? DBNull.Value)); cmd.SelectCommand.Parameters.Add(new SqlParameter("@SourceFrom", (object)message.Recipient ?? DBNull.Value)); // TODO: Add ListId support cmd.SelectCommand.Parameters.Add(new SqlParameter("@ListId", DBNull.Value)); cmd.SelectCommand.Parameters.Add(outId); conn.Open(); cmd.SelectCommand.ExecuteNonQuery(); return outId.Value as long? ?? 0; } }


Простите, что не успел показать TopShelf - пост и так уже слишком раздулся.

Выводы

В этом уроке мы узнали, что задача сбора почты может оказаться не такой простой. Разработанное ядро позволяет быстро добавлять новые шаги процесса - DataFlow-блоки, не затрагивая существующую логику. Подсистема плагинов позволяет быстро наращивать скриптоподобную логику парсинга, а сам DataFlow распараллеливает все вычисления (причем мы имеем возможность гибко настраивать многопоточность под конкретную машину). TopShelf дает нам возможность запускать сервис как в режиме службы, так и в консольном режиме для облегчения отладки.

19.07.1956 - 28.12.2012)

Некоторое время назад в Яндекс.Почте появились сборщики писем по IMAP. В этом посте мы немного расскажем о двух важных почтовых протоколах - POP3 и IMAP - и о том, как они появились и используются в современных почтовых системах. Не всегда это так просто и очевидно, как ожидаешь от технологий, развивающихся уже почти 30 лет.

Начнём наш экскурс в историю протоколов, через которые вы каждый день получаете свою сотню писем.

Когда общаешься в Сети много месяцев и лет, обрастаешь множеством писем, а это сотни мегабайт и гигабайт переписки и файлов. Часто это не просто полезные файлы, по ним можно вспомнить и восстановить вехи жизни. Эти данные бывают ценнее чем содержимое локального диска компьютера.

Иногда встаёт задача перейти на новую и более удобную почтовую систему, но мешают накопленные архивы писем. Бросить их на прежнем месте? Жалко. Пароли забываются. Бывает, утрачиваются номера мобильных и email-адреса, введённые для их восстановления. Однажды можно потерять архивы навсегда. Скачать на локальный жесткий диск? Переписать на болванку или флешку? Но они ненадёжны: ломаются, теряются, портятся.

Самое логичное решение - импортировать архив почты в новый ящик. Но недостаточно это сделать один раз, ведь в старый ящик могут продолжать приходить важные письма. Можно настроить безусловное перенаправление всей входящей почты на другой адрес, и с технической точки зрения это - самый предпочтительный вариант. Но мы не роботы, и далеко не всегда технически экономное решение удобно использовать.

Долгое время единственным способом переноса архива почты между почтовыми системами с постоянной фоновой синхронизацией новых писем был протокол POP3. Возможность собирать почту с внешних POP3-серверов реализована везде и хорошо. Во всяком случае, настолько хорошо, насколько это позволяет протокол, а он имеет массу неприятных ограничений.

POP3 ведёт свою историю с 1984 года, когда одна из сотрудниц Института Информатики в составе Университета Южной Калифорнии, Джойс Рейнольдс, опубликовала RFC 918 - предложение стандартного протокола для получения электронной почты (POP - Post Office Protocol). Через 4 года появилась третья редакция протокола POP, а текущая, современная версия стандарта на POP3 опубликована весной 1996 года, почти 17 лет назад.

Важным принципом POP3 является оптимизация под короткие подключения к почтовому серверу в условиях дорогой и медленной связи. Изначально в рамках каждого подключения предполагалось скачивание всех писем из ящика на локальный диск, а затем очистка всего содержимого ящика. Точно так же работает ваш почтовый ящик для писем и газет в подъезде многоквартирного дома. В первой версии POP даже не было команд для чтения отдельных писем, только для полной выгрузки всего.

Сейчас уже сложно представить, что электронные письма не хранили на серверах. Их перекачивали на локальный компьютер при первой возможности и читали, сортировали по адресатам, темам и важности локально.

Интересно, что в протоколе POP2 была предусмотрена возможность работы с несколькими папками на сервере, но она оказалась невостребована, да и сам протокол распространения не получил. Поэтому в POP3 команду FOLD, которая реализовала эту возможность, убрали. POP2 обогнал время.

Сейчас в POP3 нет возможности скачивать с сервера структуру папок, только «плоский» список писем, состоящий, как правило, либо из входящих писем, либо из объединения пользовательских папок. Невозможно учитывать флажки прочтённости и важности. Несмотря на эти ограничения, протокол всё ещё широко используется, в основном из-за своей простоты и очень широкой поддержки в любых устройствах.

Было много попыток улучшить POP3, но ни одна из них не достигла такого успеха, как протокол IMAP, почти параллельно разивавшийся с 1985 года. История IMAP тоже весьма интересна. Например, первая реализация была сделана на Lisp-е, и его наследие навсегда осталось в протоколе в виде S-выражений , которыми кодируются сложные ответы сервера, такие как BODYSTRUCTURE.

Автор и идеолог IMAP Марк Криспин заложил в него принцип постоянного хранения писем на почтовом сервере. IMAP оказался одним из ранних «облачных» протоколов Интернета, рассчитанных на то, что локальное хранилище на персональном компьютере ненадёжно. Кроме того, персональных компьютеров и других терминалов для работы с почтой у человека может быть несколько - базовые вещи для нас теперешних.

Последняя версия IMAP - 4rev1 - описана в документе RFC 3501, увидевшем свет в 2003 году. Несмотря на кажущийся возраст, протокол получился живым благодаря предусмотренному на ранних этапах механизму расширений. Этот механизм, конечно, тоже не без недостатков, но тем не менее, он позволил различным людям выпустить более пятидесяти публичных расширений , многие из которых были разработаны совсем недавно и нашли широкое применение.

Современная почтовая система без поддержки доступа по IMAP - нонсенс. На протяжении нескольких лет Яндекс.Почта поддерживает IMAP в качестве сервера для работы из таких популярных клиентских программ, как Outlook, Thunderbird, Apple Mail, а также многочисленных мобильных клиентов. Кстати, именно благодаря смартфонам IMAP получил вторую волну развития. Если на персональных компьютерах уже довольно давно подавляющее большинство пользователей сделали выбор в пользу веб-интерфейса к своей почте, то с мобильными устройствами ситуация совсем не такая. Быстрые и красивые IMAP-клиенты, например в iOS, заставляют пересматривать подход к IMAP как к выбору исключительно профессиональных и «продвинутых» пользователей.

Недавно в Яндекс.Почте появилась и функция IMAP-клиента - сборщика почты с внешних серверов по IMAP - в дополнение к POP3-сборщику.

Функция не требует практически никакой настройки и рассчитана на фоновую работу после первого включения. При сборе почты через IMAP из-за описанных выше особенностей работы протокола в вашем почтовом ящике вы увидите ту структуру папок, к которой привыкли, когда пользовались предыдущей почтовой системой. Все прочтённые письма останутся прочтёнными, а непрочитанные - непрочитанными.

Включить сбор с папками в Яндекс.Почте можно со всех почтовых систем, поддерживающих протокол IMAP. Протокол непростой, у каждой реализации IMAP-сервера есть свои закидоны, и нам было важно в первую очередь обработать самый массовый вариант перехода со старой почты на новую.

По-прежнему кроме самих писем импортируются контакты из адресных книг самых распространённых почтовых сервисов.

Протокол IMAP заметно сложнее чем POP3 и просто по набору возможностей и команд, и по некоторых базовым принципам функционирования. Например, в IMAP используется тегирование команд клиента и ответов сервера на эти команды, что позволяет серверу отвечать на команды в произвольном порядке.

Каждая команда должна быть предварена некоторым идентификатором - тегом, который затем будет использован сервером при генерации ответа на эту команду. Это позволяет «беседе» клиента с сервером быть абсолютно асинхронной - сервер вправе отвечать на команды клиента в любом порядке, так как теги позволяют однозначно сопоставить ответ ранее поданной команде. Более того, сервер может выполнять такие команды одновременно, ускоряя скорость работы с почтой, и Яндекс.Почта умеет это использовать. Одновременно это требует особого подхода к программированию как клиента, так и сервера. Если вам в этом месте вспомнился механизм sequence numbers в TCP, то запишите себе +1 в geek cred:)

Для реализации IMAP-сборщика внутри Яндекс.Почты мы использовали наш асинхронный фреймворк для написания любых высокопроизводительных сетевых сервисов, который называется yplatform. Пока его исходный код закрыт, хотя мы рассматриваем возможность опубликовать его. Следите за новостями.

Переходите на Яндекс.Почту, настраивайте сборщик по IMAP - и вы всегда сможете найти любое старое письмо. Уж что-что, а искать Яндекс умеет.

В этой статье речь пойдет о том, что такое «почта из других ящиков» и «сбор писем из других аккаунтов». Обзоры почтовых сервисов и сравнения.

По мере обновления функционала почтовых сервисов мы будем публиковать новости в конце этой статьи.

Почтовый сервис Mail.ru, поисковые системы Yandex и Google уже несколько лет предлагают очень полезный и нужный функционал, который позволяет объединить в одной почте все остальные e-mail аккаунты. Иными словами, стоит один раз добавить и настроить все свои «почты», и управлять ими станет возможно в одном окне без постоянного ввода логина и пароля.

Почтовые сервисы предлагают нам огромное место для хранения всех входящих писем, удобный интерфейс, хороший функционал по управлению и многое другое. Чтобы протестировать возможности перечисленных почтовых сервисов, выделим три параметра для оценки их работы: 1) необходимо управлять различными e-mail аккаунтами, в том числе с различных сервисов и сайтов, через один почтовый клиент; 2) иметь личную подпись и имя для каждой почты; 3) удалять письма с серверов тех почтовых аккаунтов, которые были добавлены в mail, yandex или google почты.

Наша задача выглядит так:

Итак, приступим. Первым тестируем сервис от Mail.ru, который сообщает нам: «Вы можете собирать почту из всех ваших почтовых ящиков в один ящик на Mail.ru.

Настройте сбор писем с любого сервера, работающего по протоколу IMAP или POP3». Для добавления внешней почты, отличной от @mail, @inbox, @list, @bk, нужно иметь хотя бы одну почту, которая уже имеется на перечисленных серверах от mail. Иными словами, сначала зарегистрируйте mail-почту, а затем уже добавляйте другие почтовые аккаунты. Процесс регистрации на mail прост, описывать его нет смысла, а вот добавление других e-mail в этот почтовый аккаунт опишем.

Далее вам будет предложено ввести логин и пароль от любого ящика, которым вы пользуетесь, и в течение 3-5 минут «Сборщик почты от mail» создаст папку с наименованием добавленной почты рядом с папками «входящие», «отправленные», «спам» и прочее.

На деле, сборщик писем заработает в течение 10-15 минут и во вновь созданную папку от указанного вами ящика добавит все письма. Все входящие письма для нового e-mail будут приходить в эту папку, также станет возможным отправлять письма от прикрепленного ящика. При создании нового письма появится поле «От», в котором можно выбрать, с какого почтового ящика будет отправлено письмо.

К плюсам почтового сервиса Mail.ru можно отнести простоту добавления и легкость настройки других ящиков, отсутствие необходимости указывать различные протоколы (POP3, SMTP). Это очень важно, потому что не каждый пользователь знает, что это такое.

Минусы Mail.ru заключаются в том, что назначить имя и подпись для каждой вновь добавленной почты (любому новому e-mail, кроме основного) нельзя, то есть на каждый адрес будет распространяться имя и подпись главной почты и все. Другим большим недостатком является то, что при загрузке писем в mail нет возможности автоматического удаления оригинальных писем с сервера прикрепленного ящика. Почему так важно удалять письма с сервера добавленного ящика? Это позволит избежать заполнения присоединенной почты, т.к. внешние e-mail аккаунты, как правило, имеют слишком маленький размер для хранения писем. Например, при переполнении почтового пространства во внешнем аккаунте, Mail.ru не отобразит никаких новых писем, пока Вы не войдете в интерфейс внешней почты и непосредственно оттуда не удалите письма для освобождения места. К тому же, мы привязываем почту к Mail в надежде получить много места для хранения нашей почты, которая, возможно, ограничена ресурсами хостинга. Таким образом, несмотря на то, что Mail.ru предлагает практически неограниченный объем почтового ящика, при добавлении почты из другой доменной зоны (например, [email protected]), ваши ресурсы добавленного e-mail не увеличатся в Mail.ru, а будут по-прежнему ограничены ресурсами хостинга (в нашем случае, ресурсами primer.ru).

Возможность добавления другой почты на сервис Mail не угодил нашей задаче по двум пунктам из трех, итого набрал один балл.

Правда у Mail.ru есть еще один способ добавления внешней почты, а если говорить точнее, то подключение или вход на внешнюю почту. Выглядит это так:

Данный способ не подходит для нашей задачи, т.к. это не сборщик почты, а режим пользователя, который подключается к почте и каждый раз загружает в интерфейс mail все папки и письма. Но здесь возможно добавить для каждой почты личную подпись и имя, имеется возможность отправки писем от настроенной почты. Удаление писем с загруженных ящиков не работает, т.к. это не сборщик почты.

Важно! Некоторые пользователи ошибочно думают, что если письма отобразились в mail, то почту, с которой произошла загрузка, можно очистить. Обратим внимание еще раз, что Mail.ru работает как просмотрщик почты, и если вы очистите почту, то она удалится и в основном ящике, и в mail.

Второй испытуемый Яндекс со своим сборщиком писем. Задачи поставлены аналогичные: собрать почту, присвоить для каждой почты свою подпись и имя, а также удалить всю почту с добавленного ящика.

Настраивается сборщик писем у Яндекса по аналогичной схеме, но если подключение почты происходит с какого-нибудь сайта, например site.ru, то необходимо будет прописать дополнительные настройки, см. скриншот.

Сервис Mail делал эту работу за нас, Яндекс же предлагает в ручном режиме выставить все настройки от сторонней почты. Тут нет ничего сложного: в поле логин вводим полное название почты ([email protected]), в поле сервер вводим только домен (site.ru), все остальные настройки лучше оставить по умолчанию, либо изменить, если вы знаете, что делаете. После успешного добавления почты, появится надпись:

В отличие от Mail сборщика, Яндекс предлагает выбрать, сохранять ли оригиналы писем в добавляемом ящике или нет. Во всем другом сборщик писем от Яндекса работает по аналогичной схеме с Mail.ru, есть возможность выбора почтового ящика, от которого отправлять письмо. Но вот с подписью писем у Яндекса такая же проблема: нет возможности задать для каждого добавленного почтового ящика индивидуальное имя и подпись.

Судя по навигации, возможность добавления индивидуальной подписи для каждого почтового ящика есть, но на деле она не работает. Выбираем почту, прописываем имя и подпись, нажимаем сохранить. Все, подпись сохранена и работает, но она также сохраняется и для всех остальных почтовых ящиков, то есть присваивая имя и подпись одному ящику, вы автоматически изменяете эти параметры во всех объединенных в Яндексе почтах. Даже в случае выбора любого другого ящика подпись теперь всюду будет аналогичной.

Итого Яндекс успешно справился со сбором и сортировкой почты, умеет удалять оригиналы писем с добавленного ящика, но с подписями работать не умеет! С нашей задачей сборщик писем от Яндекса не справился и набирает два балла из трех.

Хочется отметить, что, «покопавшись» во всех трех сервисах по сборке писем, создается впечатление, что Mail «сляпали» свой функционал на скорую руку. Он хоть и удовлетворит большинство пользователей, но, честно сказать, Маил сделали сборщик почты для галочки, чтобы отметиться в конкурентной гонке. Работает все хорошо и без сбоев, но с нашей задачей сборщик от Маил не справился. В интерфейсе почты имеются несколько рекламных блоков, но они не мешают работать с письмами.

Что касается Yandex, который создал сборщик писем давным давно, создается ощущение, что поддержкой именно этой отрасли не занимаются, потому что исправить столь простой функционал (возможность добавления нескольких подписей для ящиков) не должен быть сложным для такой мощной поисковой машины. Тем не менее, у Яндекса появился другой уникальный функционал, позволяющий привязывать домены на их dns сервера, а уже в последующем создавать и настраивать почту. Но для таких операций и настроек требуются знания и время. И хотя ничего сложного там нет, в любом случае, это не для большинства пользователей рунета. Большой плюс — нет рекламы в интерфейсе Яндекс почты! Минус — ограничение в сборщике писем на 10 почтовых ящиков.

Финалист и победитель — сборщик писем от Google, который на ура справился с нашей задачей, несмотря даже на ограничение в 5 ящиков

Переключаться с одной вкладки с Gmail на другую с «Яндекс.Почтой» довольно утомительно. А уж если у вас имеется десяток учётных записей у разных почтовых провайдеров, утренняя проверка новой корреспонденции и вовсе превращается в пытку. Объединив письма в одном месте, вы избавитесь от этого неудобства.

Веб-интерфейс

Большинство провайдеров электронной почты предоставляют встроенную функцию сбора писем с нескольких почтовых ящиков. Например, попробуем собрать письма со всех ваших ящиков в одном аккаунте Gmail.

Прежде всего убедитесь, что в почтовой службе, откуда вы хотите забирать письма, есть доступ по протоколу POP. Затем зайдите в настройки Gmail и нажмите «Настройки» в правом верхнем углу. Перейдите на вкладку «Аккаунты» и отыщите раздел «Получать почту из других аккаунтов».

Добавьте аккаунт, введите адрес электронной почты и нажмите «Далее», затем ведите пароль. Для того чтобы обмен почтой между провайдерами был безопаснее, убедитесь, что включена опция «Всегда использовать защищённое соединение (SSL) при получении почты». Затем кликните на «Добавить аккаунт».

Теперь письма, приходящие на добавленный адрес, будут автоматически собираться в Inbox вашего Gmail. Вы можете добавить столько почтовых адресов, сколько вам нужно.

Десктопные клиенты

Электронной почте нужен софт. Да, вы можете сделать многое в веб-клиенте почты (иногда гораздо больше, чем Google сейчас позволяет делать в Gmail). Но веб-интерфейс не сравнить с нативным приложением. Даже самый современный Web UI - это узкое место в работе с почтой.

Рэйф Нидлман, Сnet.com

Десктопные почтовые клиенты хороши тем, что могут агрегировать письма из множества аккаунтов. При этом вы можете работать с десятками адресов и даже не задумываться, у какого провайдера хранится то или иное сообщение.

Большинство десктопных клиентов электронной почты имеют встроенный общий Inbox. Даже если ваш излюбленный клиент поддерживает работу только с отдельными папками для входящих писем, вы всё равно легко можете собрать их вместе с помощью умных фильтров.

Несмотря на то что Outlook предназначен для одновременного управления несколькими почтовыми ящиками, он всё равно отображает отдельный Inbox для каждой учётной записи. Но это легко можно исправить с помощью фильтров.

Откройте Outlook, зайдите на вкладку «Папки» и кликните «Создать папку поиска» на панели инструментов. Затем выберите «Создание настраиваемой папки поиска». Щёлкните на «Выбрать», но не выбирайте критерии поиска, чтобы в папку отправлялись все новые сообщения. Назовите папку как угодно, например «Вся почта».

Кликните на «Обзор», выберите все папки и ящики, из которых нужно собирать почту, и отметьте опцию «Поиск во вложенных папках».

Теперь в созданной вами умной папке будут появляться письма из всех почтовых аккаунтов, добавленных вами в Outlook. Вы можете включить опцию «Отображать в избранном», чтобы ваша новая почта всегда была на виду.

Почтовый клиент Mac предоставляет единую папку для входящих писем из всех подключённых учётных записей. Просто добавляйте свои аккаунты, и все новые письма окажутся собранными в одном месте.

В Thunderbird собрать все ваши письма в одной папке «Входящие» очень просто. Зайдите в меню «Вид» (если строка меню не отображена, нажмите Alt). Затем выберите «Папки» → «Объединённые». Теперь у вас будет одна папка «Входящие» для новых писем, одна папка «Черновики», одна папка «Отправленные» и один «Архив». Вам не придётся долго искать, что где лежит. При этом сообщения будут, как и раньше, храниться на серверах ваших почтовых провайдеров.

Мобильные клиенты

Объединённый Inbox есть во многих мобильных почтовых клиентах, в том числе в Gmail. Приложение Gmail собирает ваши входящие из всех аккаунтов электронной почты, в том числе из Yahoo, Outlook или других сервисов.

Если вам не нравится приложение от Google, можете попробовать сторонние почтовые клиенты, такие как Outlook или MyMail.

Может быть, у вас есть свои идеи, как сгруппировать почту в одном месте? Делитесь в комментариях.



Предыдущая статья: Следующая статья:

© 2015 .
О сайте | Контакты
| Карта сайта