ПРОСЛАВЛЕННЫЙ РЕЧНИК ВАСИЛИЙ КОЛПАКОВ | Официальный сайт газеты Маяк

Василий Иванович Колпаков родился 1 января 1897 года в семье крестьянина деревни Рождествино Фоминской волости Гороховецкого уезда Владимирской губернии. Отец работал на водном транспорте в должности лоцмана у пароходчика Матвея Егоровича Николаева Матвея Егоровича уроженца села Фоминки Гороховецкого уезда Владимирской губернии. Лоцман должен был хорошо знать береговую обстановку и местный фарватер – особенно в местах, представляющих опасность. Ну а Василий с ранних лет тоже был у реки. Он работал погонщиком лошадей, которые тянули баржи вдоль реки Клязьмы, и своими глазами видел, насколько тяжёл бурлацкий труд.

Колпаков В.И. окончил 2 класса сельской школы, не окончив полного курса обучения. Позднее он напишет в автобиографии: «Я в 1908 году пошел на водный транспорт в должности матроса к бывшему судовладельцу Николаеву, проработал до 1916 года и был призван в царскую армию в 4 Гусарский Мариупольский полк рядовым».
В 1917 году герой этого материала добровольно поступил в 8 Латышскую дивизию РККА. С 1918 по 1923 год он воевал в составе 1 конной армии 14 майкопской кавалерийской дивизии РККА 81 кавалерийского полка и 1 эскадрона. Был помощником командира взвода. В этом качестве Колпаков принимал участие в Кубано-Новороссийской операции против войск Деникина, разгроме войск генерала Врангеля в Крыму, в разгроме Мамонтова К. К. и Шкуро А. Г.

Его отличали дух боевой отваги, мужество и героизм. 26 марта 1921 года Колпаков В.И. был награжден первым советским орденом Красного Знамени. В свидетельстве за подписью Ворошилова Климента Ефремовича было сказано: «За исключительный героизм, мужество и самоотверженность, проявленные при защите социалистического Отечества на врангелевском фронте, где он под населенным пунктом Рождественское, невзирая на явное превосходство сил противника, один из первых бросился в атаку, увлекая за собой красноармейцев и будучи ранен продолжал оставаться в строю, преследуя противника, кроме того, несмотря на повторные ранения зарубил лично 3 белогвардейцев».

Имел наш земляк и другие награды.

В 1923 году Колпаков В.И. демобилизовался и ушел на водный транспорт, где и проработал 35лет – вплоть до 1958 года. С открытием навигации он поступает штурвальным на пароход «Благодарный». Он работал на пассажирской линии «Плес — Москва — Рязань». Она действовала ежедневно по открытию шлюзов. До спада воды пароход «Благодарный» работал на линии Рязань – Солотча — Коломна. Здесь Василий Иванович научился всему, чего требует нелегкая профессия речника. Он принимал активное участие в профсоюзной работе водного транспорта, являлся профуполномоченным парохода «Благодарный». В межнавигационный период жил в городе Вязники, снимая квартиру на улице 3-го Интернационала в доме №6.

27 декабря 1923 года Василий Иванович Колпаков женится на Изотовой Марии Петровне (1904-1992гг.) В «Книге регистрации актов о заключении браков за 1923 год» указывается род занятий жениха и невесты. Колпаков Василий Иванович — штурвальный, Мария Петровна — ткачиха. Жить молодожены стали у родителей невесты.

Однако в 1924 году семья переезжает в город Шуя Ивановской области по месту службы. Василия Ивановича избирают председателем месткома отделения речников. 13 января 1924 года он был принят в кандидаты ВКП (б), а 4 октября – в члены ВКП(б).

21 октября 1924 года в городе Шуя у Колпаковых родилась дочь Людмила. В навигацию года следующего Колпакова В.И. назначают капитаном буксирного парохода «Шуя», который был построен в 1915 году в Нижнем Новгороде.

2 января 1926 года в городе Вязники у Колпаковых появилась на свет вторая дочь Нина. В конце этого же года речник снова возвращается сюда и работает в Вязниковском затоне Волжского Государственного речного пароходства, получая заработную плату в 42 рубля. Эта был обычный доход. Причем для членов ВКП(б) имелся установленный партмаксимум.

В 1927 году Василия Ивановича переводят капитаном парохода «Красный котельщик». Жизнь его хорошо характеризует бланк «Всесоюзной партийной переписи 1927 года» Колпакова В.И. члена партийной ячейки «Вязниковского затона Волжского Государственного речного пароходства». Так, отец семейства и его близкие не имели земли, сада, огорода, скота и сельскохозяйственного инвентаря. Они не арендовали землю у других хозяйств. Семья жила на съемной квартире, на каждого приходилось 3 1/2 аршина жилой полезной площади.

С 1927 по 1930 годы Колпакова В.И. направляют на работу в Гороховецкий уезд представителем от ГК КПСС по «чистке госаппарата и участия в коллективизации». Супруга Мария Петровна и 2 дочери живут в его родительском доме в деревне Рождествино. Там 16 апреля 1930 года родились двойняшки — Тамара и Клара.

В навигацию 1930 года Василий Иванович вернулся на водный транспорт и был назначен капитаном грузопассажирского парохода «Шторм», который работал на линии Вязники — Горький. Мощность — 125 лошадиных сил, грузоподъемность – 30 тонн. Транспорт перевозил на своем борту 250 человек.

Газета «Пролетарий» писала: «В навигацию текущего года Вязниковское агентство речного пароходства имеет значительные успехи. В течение навигации планом было намечено перевезти 65000 пассажиров. Обслужено 99193 человека. По перевозке грузов большой скорости план выполнен на 105,9% и по малой скорости на 125,6%. Лучшей работе по перевозке грузов мешало мелководье. В июне и июле из-за мелководья приходилось загружать суда на 35-40%. Пароход «Шторм» в этом году ходил с большой перегрузкой. Вместо 300 человек на нем перевозили 500-600 пассажиров».

В 1932 году Колпаков В.И. был назначен капитаном грузопассажирского парохода «Робеспьер», который работал на линии Плес Нижний Новгород – 8 Февраля. Ходил 4 раза в неделю. Это судно до Октябрьской революции принадлежало Товариществу Южской мануфактуры Балина А.Я. Наш герой был ударником первой пятилетки (1928-1932гг.), за что его отметили грамотой Средне-Окского портового комитета 5 ноября 1932 года. В 1933 году Колпакова В.И. переводят на реку Оку на грузопассажирский пароход «Литвинов», который работал на линии Горький-Муром. Через год он уже капитан грузопассажирского парохода «Пестель» на линии Плес Нижний Новгород — Муром – Касимов.

Наградили его и за вторую пятилетку как труженика, активно проявившего себя в борьбе за досрочное выполнение в навигацию 1934 года плана по судоремонту парохода «Робеспьер».

В 1935 году Василия Ивановича переводят в качестве повышения капитаном на большой грузопассажирский пароход «Свердлов», который работал по Оке и Волге.
Знаковым для Василия Ивановича стал следующий год. В 1936-м он был назначен капитаном большого пассажирского парохода «Фрунзе» на линии Москва-Уфа, который совершал рейсы с 1 июня по 1 сентября. Это было самое лучшее время для рек Волжского Бассейна. Пароход проходил известный в советское время «маршрут пяти рек»: Москву, Оку, Волгу, Каму, Белую. Необходимо было проходить по территории Московской, Рязанской, Владимирской, Горьковской областей, а также Марийской АССР, Чувашской АССР, Татарской АССР и Башкирской АССР. Василий Иванович был профессионалом своего дела, не раз доказывал это и очень любил свою работу. Довелось ему потрудиться и на других суднах.

А когда началась Великая Отечественная война, Колпаков был назначен заместителем по политической части начальника Вязниковского технического участка Московско-Окского Бассейнового Управления Пути Жукова Владимира Васильевича.

После начала Великой Отечественной, осенью 1941 года. Колпаков был был назначен заместителем по политической части начальника Вязниковского технического участка Московско — Окского Бассейнового Управления Пути Жукова Владимира Васильевича. Была объявлена мобилизация. На фронт уходили лучшие кадры Вязниковского Технического участка, чтобы с оружием в руках защищать Родину.

3 октября 1941 года Колпаков В.И. также был мобилизован в РККА на военные сборы на основании повестки Горвоенкомата. После сборов он вернулся в Вязниковский технический участок и приступил к исполнению своих обязанностей.

Василий Иванович отвечал за организацию и состояние военно-политической работы, воспитывал личный состав в духе патриотизма, осуществлял военно-политическое информирование, рассказывал о положении на фронтах, событиях в стране и мире. В условиях военного времени он проводил работу, направленную на формирование высоких моральных качеств у личного состава Вязниковского технического участка. Руководитель ездил в командировки в Москву, участвовал в вопросе призыва новобранцев и военнообязанных запаса в РККА.

Позднее в биографии Василия Ивановича была работа на должности шкипера брандвахты Б204. Его назначали ответственным руководителем по ремонту непаровых судов. А 23 августа 1943 года он был переведен на работу в Клязьменский эксплоучасток МОУРПА диспетчером. В 1948 году речник получил медаль «За доблестный труд в ВОВ 1941-1945гг.».

В 1951 году Василию Ивановичу Колпакову выделили участок земли по Муромскому переулку размером около 62 квадратных метров — под строительство дома. В итоге он возвёл добротный одноэтажный дом из дерева. Затем рядом c родительским домом по Муромскому переулку были построены еще 2 одноэтажных деревянных дома под №9 и №11 для дочерей.

5 ноября 1954 года Колпаков Василий Иванович Указом Президиума Верховного Совета СССР был награжден высшей государственной наградой — Орденом Ленина. В многочисленных грамотах отмечалась его долгая и безупречная работа. В 1958-м речник ушел на заслуженный отдых, однако сохранял бодрость духа и занимался общественной работой. Скончался Василий Иванович 27 марта 1962 года. Спустя пять лет Исполком Городского Совета принял решение №402 — переименовать Муромский переулок в улицу ветерана гражданской войны Колпакова Василия Ивановича. Нам же остаётся сохранять память о человеке, который внёс немалый вклад в развитие страны и родного края.

Е. Лебедева, сотрудник Вязниковского историко-художественного музея.

Василий Колпаков, 69 лет, Москва

Василий Колпаков, 69 лет, Москва — (51) друзей профиль в одноклассниках

69 лет, Россия, Москва

Заходил 28 июня 2022, 13:47

Фотографии пользователя Василий Колпаков в одноклассниках

Друзья 51

Раиска Федотова

Николай Ворошилов

Максим Алексеев

Тамара Федотова

Людмила Ожерельева

Александр Самоделкин

Александр Коробейщиков

Сергей Полищук

Геннадий Куров

Раиса Пашкова

Геннадий Паскотин

Татьяна Елькина

Виктор Елин

Вячеслав Мамаев

Сергей Воробьев

Валентина Озёрина

Елена Алексеева

Николай Сериков

Усман И

Александр Адайкин

Rudolf Ruff

Николай Обухов

Алла Алексеева

Лариса Образцова

Владимир Ревякин

Марія Яцурак

Андрей Колпаков

Валерий Чудаев

Владимир Галахов

Загрузить еще

Родина — Россия

51 друзей в Одноклассниках

Проживает в городе Москва

Знак зодиака — Рыбы

День рождения 10 марта

Пожалуйста, сообщите нам причину, по которой страница https://okigo. ru/user/okid89969922639 должна быть проверена

Выберите причину жалобы: *

— Выберите причину — ПорнографияРассылка спамаОскорбительное поведениеРекламная страницаДругое

E-mail: *

Комментарий: *

Дата: *

Изображение: *

E-mail: *

Комментарий: *

‹›×Посмотреть друзей

Spark версии 3.2.0 | Apache Spark

Apache Spark 3.2.0 — это третий выпуск линейки 3.x. Благодаря огромному вкладу сообщества открытого исходного кода в этом выпуске удалось разрешить более 1700 тикетов Jira.

В этом выпуске Spark поддерживает уровень API Pandas в Spark. Пользователи Pandas могут масштабировать свои приложения в Spark, изменив код одной строки. Другие важные обновления включают поддержку RocksDB StateStore, поддержку окна сеанса, поддержку перемешивания на основе push, типы ANSI SQL INTERVAL, включение Adaptive Query Execution (AQE) по умолчанию и режим GA ANSI SQL.

Чтобы загрузить Apache Spark 3.2.0, посетите страницу загрузки. Вы можете обратиться в JIRA за подробными изменениями. Здесь мы составили список высокоуровневых изменений, сгруппированных по основным модулям.

  • Основные моменты
  • Core и Spark SQL
  • Структурированная потоковая передача
  • ПиСпарк
  • MLlib
  • ИскраR
  • ГрафХ
  • Устаревание и удаление
  • Известные проблемы
  • Кредиты

Особенности

  • Поддержка уровня API Pandas на PySpark (SPARK-34849)
  • Включить адаптивное выполнение запросов по умолчанию (SPARK-33679)
  • Поддержка перемешивания на основе push для повышения эффективности перемешивания (SPARK-30602)
  • Добавить реализацию RocksDB StateStore (SPARK-34198)
  • Сеансизация на основе EventTime (окно сеанса) (SPARK-10816)
  • Стандартный режим SQL ANSI (SPARK-35030)
  • Поддержка типов ANSI SQL INTERVAL (SPARK-27790)
  • Сокращение задержки компиляции запросов (SPARK-35042, SPARK-35103, SPARK-34989)
  • Поддержка Скала 2. 13 (СПАРК-34218)

Core и Spark SQL

Усовершенствования совместимости с ANSI SQL

Производительность

  • Задержка компиляции запроса
    • Поддержка сокращения обхода в функциях преобразования/разрешения и их сайтах вызова (SPARK-35042)
    • Повышение производительности методов mapChildren и withNewChildren (SPARK-34989)
    • Повышение производительности правил приведения типов (SPARK-35103)
  • Оптимизация запросов
    • Удаление избыточных агрегатов в Оптимизаторе (SPARK-33122)
    • Переместить предел через проект с соединением (SPARK-34622)
    • Предел ограничения для соединения LEFT SEMI и LEFT ANTI (SPARK-36404, SPARK-34514)
    • Ограничить ограничение через WINDOW, если спецификация раздела пуста (SPARK-34575)
    • Использовать функцию сравнения относительных затрат в СВО (СПАРК-34922)
    • Оценка мощности оператора объединения, сортировки и диапазона (SPARK-33411)
    • Нажимайте LeftSemi/LeftAnti над Aggregate только в том случае, если соединение может быть запланировано как широковещательное (SPARK-34081)
    • UnwrapCastInBinaryComparison поддерживает предикат In/InSet (SPARK-35316)
    • Усовершенствования устранения подвыражений (SPARK-35448)
    • Сохранить необходимую статистику после сокращения раздела (SPARK-34119)
    • Разделение обрезки фильтра сегментов и сканирование таблицы сегментов (SPARK-32985)
  • Выполнение запроса
    • Выполнение адаптивного запроса
      • Включить адаптивное выполнение запросов по умолчанию (SPARK-33679)
      • Поддержка динамического сокращения разделов (DPP) в AQE, когда соединение является широковещательным хэш-соединением в начале или нет повторного широковещательного обмена (SPARK-34168, SPARK-35710)
      • Оптимизировать неравномерное соединение перед объединением разделов в случайном порядке (SPARK-35447)
      • Поддержка формулы бокового перемешивания хеш-соединения AQE с использованием правила (SPARK-35282)
      • Поддержка порогового значения хеш-соединения боковой широковещательной передачи AQE (SPARK-35264)
      • Разрешить пользовательский подключаемый модуль для оценщика затрат AQE (SPARK-35794)
    • Включить буферный пул Zstandard по умолчанию (SPARK-34340, SPARK-34390)
    • Добавить code-gen для всех типов соединения сортировки-слияния (SPARK-34705)
    • Обмен всем планом и повторное использование подзапросов (SPARK-29375)
    • Улучшение широковещательного соединения с вложенным циклом (SPARK-34706)
    • Разрешить одновременные записи для записи динамических разделов и таблицы сегментов (SPARK-26164)
    • Повышение производительности обработки FETCH_PRIOR на сервере Spark Thrift (SPARK-33655)

Улучшения разъемов

  • Паркет
    • Обновление используемого Apache Parquet до версии 1. 12.1 (SPARK-36726)
    • Индекс столбца поддержки в векторизованном считывателе Parquet (SPARK-34289)
    • Добавить новые параметры источника данных паркета для управления перебазированием даты и времени при чтении (SPARK-34377)
    • Чтение беззнаковых типов parquet, которые хранятся как физический тип int32 в паркете (SPARK-34817)
    • Чтение логического типа Parquet без знака int64, сохраненного как физический тип int64 со знаком, в decimal(20, 0) (SPARK-34786)
    • Обработка индекса столбца при использовании векторизованного считывателя паркета (SPARK-34859)
    • Улучшить паркет в выдвижном фильтре (SPARK-32792)
  • ОРЦ
    • Обновление используемого Apache ORC до версии 1.6.11 (SPARK-36482)
    • Поддержка принудительной позиционной эволюции Apache ORC (SPARK-32864)
    • Поддержка вложенного столбца в векторизованном считывателе ORC (SPARK-34862)
    • Поддержка сжатия ZSTD, LZ4 в источнике данных ORC (SPARK-33978, SPARK-35612)
    • Установите список читаемых столбцов в конфигурации задачи, чтобы уменьшить чтение данных ORC (SPARK-35783)
  • Авро
    • Обновление используемого Apache Avro до версии 1. 10.2 (SPARK-34778)
    • Поддержка эволюции схемы Avro для секционированных таблиц Hive с помощью «avro.schema.literal» (SPARK-26836)
    • Добавление новых параметров источника данных Avro для управления перебазированием даты и времени при чтении (SPARK-34404)
    • Добавление поддержки предоставленного пользователем URL-адреса схемы в Avro (SPARK-34416)
    • Добавлена ​​поддержка позиционного сопоставления схем Catalyst и Avro (SPARK-34365)
  • JSON
    • Обновление Jackson до версии 2.12.3 (SPARK-35550)
    • Разрешить источникам данных JSON записывать символы, отличные от ASCII, в качестве кодовых точек (SPARK-35047)
  • CSV
    • Обновление парсеров univocity до версии 2.9.1 (SPARK-33940)
  • JDBC
    • Сопоставление типа JDBC SQL TIME с TimestampType с фиксированной частью времени независимо от часового пояса (SPARK-34357)
    • Вычислить более точный шаг раздела в JDBCRelation (SPARK-34843)
    • Поддержка параметра refreshKrb5Config в источниках данных JDBC (SPARK-35226)
  • Фильтр поддержки Hive Metastore по NOT IN (SPARK-34538)

Расширения Kubernetes

  • Обновление клиента Kubernetes до версии 5. 4.1 (SPARK-35660)
  • Поддержка spark.kubernetes.executor.disableConfigMap (SPARK-34316)
  • Поддержка удаленных файлов шаблонов (SPARK-34783)
  • Введение ограничения для ожидающих POD (SPARK-36052)
  • Поддержка восстановления данных в случайном порядке на повторно используемых PVC (SPARK-35593)
  • Поддержка ранней очистки службы драйверов во время завершения работы приложения (SPARK-35131)
  • Добавить конфигурацию для времени ожидания готовности драйвера перед запуском исполнителей (SPARK-32975)
  • Поддержка PVC по запросу, принадлежащего водителю (SPARK-35182)
  • Максимальное время вывода из эксплуатации и разрешение вывода из эксплуатации для исключений (SPARK-34104)
  • Поддержка отправки на k8s только с токеном (SPARK-33720)
  • Добавить API разработчика для пользовательских шагов функций (SPARK-33261)

API источника данных V2

  • Агрегированные API-интерфейсы pushdown (SPARK-34952)
  • API каталога функций (SPARK-27658)
  • Реализация каталога функций DataSourceV2 (SPARK-35260)
  • Добавить API для запроса распространения и заказа при записи (SPARK-33779)
  • Добавление интерфейсов для прохождения необходимой сортировки и кластеризации для записи (SPARK-23889)
  • Метрики поддержки из сканирования Datasource v2 (SPARK-34338)
  • Метрики поддержки на пути записи (SPARK-36030)
  • Поддержка разбиения на разделы со статическим номером в требуемом распределении и упорядочение при записи (SPARK-34255)
  • Поддержка динамической фильтрации (SPARK-35779)
  • Поддержка LocalScan (SPARK-35535)
  • MERGE … UPDATE/INSERT * следует выполнять разрешение по имени (SPARK-34720)

Усовершенствования функций

  • Усовершенствования подзапросов
    • Улучшение коррелированных подзапросов (SPARK-35553)
    • Разрешить неагрегированный однострочный коррелированный скалярный подзапрос (SPARK-28379)
    • Разрешить подмножество коррелированных предикатов равенства только при агрегировании подзапроса (SPARK-35080)
    • Разрешить звездообразные выражения в подзапросах с использованием внешних планов запросов (SPARK-35618)
  • Новые встроенные функции
    • текущий_пользователь (СПАРК-21957)
    • Товар
    • (СПАРК-33678)
    • regexp_like,regexp (SPARK-33597, СПАРК-34376)
    • try_cast (СПАРК-34881)
    • try_add (СПАРК-35162)
    • try_divide (СПАРК-35162)
    • bit_get (СПАРК-33245)
  • Использовать Apache Hadoop 3. 3.1 по умолчанию (SPARK-29250)
  • Сделать общедоступным API пользовательского типа (UDT) (SPARK-7768)
  • Добавление контрольной суммы для перетасовки блоков (SPARK-35275)
  • Включить spark.storage.replication.proactive по умолчанию (SPARK-33870)
  • Добавить реестр табличных функций (SPARK-34678)
  • Поддержка очистки резервного хранилища во время остановки SparkContext (SPARK-34142)
  • Поддержка перечислений Java из Scala Dataset API (SPARK-23862)
  • ADD JAR с координатами плюща должен быть совместим с переходным поведением Hive (SPARK-34506)
  • Поддержка команд ADD ARCHIVE и LIST ARCHIVES (SPARK-34603)
  • Поддержка нескольких путей для команд ADD FILE/JAR/ARCHIVE (SPARK-35105)
  • Поддержка архивных файлов в качестве ресурсов для синтаксиса CREATE FUNCTION USING (SPARK-35236)
  • Загрузка SparkSessionExtensions из ServiceLoader (SPARK-35380)
  • Добавить функцию предложений в functions. {scala,py} (SPARK-35418)
  • Расширить функцию декодирования, чтобы она соответствовала основным базам данных (SPARK-33527)
  • Применить spark.sql.hive.metastorePartitionPruning для таблиц, отличных от Hive, которые используют хранилище метаданных Hive для управления разделами (SPARK-36128)
  • Поддержка создания таблиц с нулевым столбцом (SPARK-36241)
  • Избегайте встраивания недетерминированных With-CTE (SPARK-36447)
  • Поддержка анализа всех таблиц в определенной базе данных (SPARK-33687)
  • Стандартизация сообщений об исключениях в Spark (SPARK-33539)

Другие заметные изменения

  • Мониторинг
    • Новые показатели для ExternalShuffleService (SPARK-35258)
    • Добавление новых API и параметров REST на уровне этапа (SPARK-26399)
    • Распределения метрик задачи поддержки и исполнителя в REST API (SPARK-34488)
    • Добавить резервные метрики для агрегата хэшей (SPARK-35529, SPARK-34237)
    • Распространение причины потери выполнения в веб-интерфейс (SPARK-34764)
  • Добавить count_distinct в качестве параметра в Dataset#summary (SPARK-34165)
  • Добавление SQLSTATE и ERRORCODE в исключение SQL (SPARK-34920)
  • Реализовать ScriptTransform в sql/core (SPARK-31936)
  • Сохранять кэширование зависимостей при обновлении таблиц v1 (SPARK-34138)
  • Сделать тайм-аут пульса драйвера BlockManagerMaster настраиваемым (SPARK-34278)
  • io. file.buffer.size, установленный в spark.buffer.size, будет переопределен при случайной загрузке hive-site.xml, что может привести к снижению производительности (SPARK-34346)
  • Поддержка файлов удаленного пула планировщика (SPARK-35083)
  • Сделать имя службы перемешивания настраиваемым на стороне клиента и разрешить переопределение конфигурации на основе пути к классам на стороне сервера (SPARK-34828)
  • ExecutorMetricsPoller должен сохранять запись этапа в stageTCMP до тех пор, пока не произойдет контрольное сообщение (SPARK-34779)
  • Заменить if предложением filter в RewriteDistinctAggregates (SPARK-34882)
  • CREATE TABLE LIKE должен учитывать зарезервированные свойства таблицы (SPARK-34935)
  • Исправление сокращения вложенных столбцов для извлечения поля структуры без учета регистра из массива структур (SPARK-34963)
  • Отправить файл ivySettings в драйвер в режиме кластера YARN (SPARK-34472)
  • Устранение повторяющихся общих столбцов из USING/NATURAL JOIN (SPARK-34527)
  • Invoke должен найти метод с правильным количеством параметров (SPARK-35278)
  • Не оптимизировать группирующие выражения из агрегатных выражений без агрегатной функции (SPARK-34581)
  • Поддержка разрешения отсутствующих атрибутов для подсказки распределения/кластеризации/перераспределения (SPARK-35331)
  • Улучшение поддержки коммиттеров s3a magic путем определения отсутствующих конфигураций (SPARK-35383)
  • Избегайте ошибки переименования файла, вызванной отсутствием целевого каталога (SPARK-35106)
  • BlockManagerMasterEndpoint не должен игнорировать файл тасования только для индекса во время обновления (SPARK-35589)
  • Удалить конфиденциальную информацию в результате выполнения команды Set (SPARK-35576)
  • Обновите схему состояния, чтобы иметь возможность принимать JSON большой длины (SPARK-35602)
  • Рассмотрите возможность сделать «:» в определении типа данных STRUCT необязательным (SPARK-35706)
  • Представление не должно захватывать конфигурации, используемые в RelationConversions (SPARK-35792)
  • Добавление новых полей вложенной структуры вместо сортировки для unionByName с пустым заполнением (SPARK-35290)
  • Использовать Void в качестве имени типа NullType (SPARK-36224)

Структурированная потоковая передача

Основная функция

  • Добавление реализации RocksDB StateStore (SPARK-34198)
  • Сеансизация на основе EventTime (окно сеанса) (SPARK-10816)
  • Обновите клиент Kafka до версии 2. 8.0 (SPARK-33913)

Другие важные изменения

  • Поддержка пользовательского начального состояния с помощью flatMapGroupsWithState в Structured Streaming (SPARK-35896)
  • Поддержка начального состояния для flatMapGroupsWithState в пакетном режиме (SPARK-36132)
  • Внедрить стратегию при несоответствии смещения для временной метки смещения начала в источнике данных Kafka (SPARK-35611)
  • Ввести новый параметр в исходный код Kafka, чтобы указать минимальное количество записей для чтения на один триггер (SPARK-35312)
  • Включить более подробные метрики для операторов с отслеживанием состояния в StreamingQueryProgress (SPARK-35896)
  • Предоставление исходных метрик через отчет о ходе выполнения и добавление варианта использования Kafka в отчет о задержке (SPARK-34854)
  • Добавить конфигурацию для игнорирования каталога метаданных FileStreamSink (SPARK-35565)
  • Добавить последние смещения в ход выполнения исходного кода (SPARK-33955)

PySpark

Project Zen

  • API Pandas на Spark (SPARK-34849)
    • Включить mypy для pandas-on-Spark (SPARK-34941)
    • Реализовать поддержку CategoricalDtype (SPARK-35997, SPARK-36185)
    • Выполнение основных операций серии и указателя (СПАРК-36103, СПАРК-36104, СПАРК-36192)
    • Соответствие поведения пандам 1. 3 (SPARK-36367)
    • Сопоставление поведения в сериях с NaN для панд (SPARK-36031, SPARK-36310)
    • Реализовать унарный оператор «инвертировать» целочисленный ряд и индекс (SPARK-36003)
    • Реализовать CategoricalIndex.map и DatetimeIndex.map (SPARK-36470)
    • Реализовать Index.map (SPARK-36469)
  • произошел сбой поддержки обработчика ошибок для рабочего процесса Python (SPARK-36062)
  • Использовать правило именования Snake для функциональных API (SPARK-34306)
  • Включить spark.sql.execution.pyspark.udf.simplifiedTraceback.enabled по умолчанию (SPARK-35419)
  • Поддержка вывода вложенного dict как структуры при создании DataFrame (SPARK-35929)

Другие заметные изменения

  • Включить режим закрепленного потока по умолчанию (SPARK-35303)
  • Добавить поддержку NullType для выполнения стрелок (SPARK-33489)
  • Добавить поддержку самоуничтожения стрелки в toPandas (SPARK-32953)
  • Добавить API-интерфейс целевой оболочки потока для режима закрепления потока PySpark (SPARK-35498)

MLlib

Повышение производительности

  • Оптимизация преобразования BucketedRandomProjectionLSH (SPARK-34220)
  • Оптимизация w2v findSynonyms (SPARK-34189)
  • оптимизировать разреженный GEMM, пропуская проверку границ (SPARK-35707)
  • Повышение производительности ML ALS по рекомендации ForAll от GEMV (SPARK-33518)

Усовершенствования обучения модели

  • Рефакторинг логистического агрегатора — поддержка виртуального центрирования (SPARK-34797)
  • Бинарная логистическая регрессия с центрированием поддержки перехвата (SPARK-34858, SPARK-34448)
  • Полиномиальная логистическая регрессия с центрированием поддержки пересечения (SPARK-34860)

Улучшения BLAS

  • Полностью заменить com. github.fommil.netlib на dev.ludovic.netlib:2.0 (SPARK-35295)
  • Добавить векторизованную реализацию BLAS (SPARK-33882)
  • Ускорить откат BLAS с помощью dev.ludovic.netlib (SPARK-35150)

Другие заметные изменения

  • Преобразование OVR исправление потенциального конфликта столбцов (SPARK-34356)

Руководство по программированию: Руководство по библиотеке машинного обучения (MLlib).

SparkR

  • Использовать keyserver.ubuntu.com в качестве сервера ключей для CRAN (SPARK-35885)

Руководство по программированию: SparkR (R на Spark).

GraphX ​​

  • Разрешить отключение нормализации, применяемой статическими утилитами PageRank (SPARK-35357)

Руководство по программированию: Руководство по программированию GraphX.

Устаревание и удаление

  • Устаревший spark.launcher.childConectionTimeout (SPARK-33717)
  • отказаться от GROUP BY… GROUPING SETS (…) и продвигать GROUP BY GROUPING SETS (…) (SPARK-34932)
  • Устаревший Python 3. 6 в документации Spark (SPARK-35939)
  • Устаревший API ps.broadcast (SPARK-35810)
  • Аргумент num_files считается устаревшим (SPARK-35807)
  • Устарело DataFrame.to_spark_io (SPARK-35811)

Известные проблемы

  • Поддержка выборки блоков в случайном порядке с шифрованием ввода-вывода (SPARK-34827)
  • Не удалось загрузить кодек Snappy для ввода-вывода файла последовательности (SPARK-36681)
  • Не удается вставить в таблицу сегментов куста, если таблица создана с использованием схемы в верхнем регистре (SPARK-35531)
  • Сбой чтения представления Hive без явных имен столбцов в Spark (SPARK-36905)
  • Отмена задания вызывает ошибки py4j в Jupyter из-за режима закрепленного потока (SPARK-37004)
  • Драйвер ошибочно сообщает об удаленных исполнителях как о живых в пользовательском интерфейсе (SPARK-35011)

Кредиты

И последнее, но не менее важное: этот релиз был бы невозможен без следующих участников: Адам Бинфорд, Али Афрузех, Алкис Полизотис, Эллисон Ван, Альмог Тавор, Амандип Шарма, Аммар Аль-Батул, Эндрю Лю, Энди Гроув , Анкур Дэйв, Антон Окольничий, Ашрай Джайн, Аттила Жолт Пирос, Аюши Агарвал, Баохе Чжан, Бо Чжан, Брюс Роббинс, Бёнсу О, Карлос Пенья, Кэри Ли, Чандни Сингх, Чао Сун, ЧаоДжун Чжан, Ченди Сюэ, Ченг Пан, Ченг Су, Чунгуан Лю, Крис Томас, Крис Ву, Даоюань Ван, Дэвид Кристл, Дэвид Ли, Дэвид Маквортер, Денис Пышев, Дерек Ли, Друв Кумар, Дхрувиль Дэйв, Диню Сюй, Доминик Гейл, Донгдонг Хон, Донджун Хён, Дуён Хван , Дук Хоа Нгуен, Эмиль Эйбифельдт, Энцо Бонналь, Эрик Кроген, Юджин Койфман, Фабиан А. Дж. Тиле, Фокко Дриспронг, Фу Чен, Габор Шомоджи, Габриэле Ниццоли, Гэнглианг Ван, Гера Шегалов, Гидон Гершински, Гуансинь Ван, Хэджун Ли, Хайян Сунь, Хан, Суровый Панчал, Хэ Ци, Гектор Чжан, Холден Карау, Хоупфулник, Хуаксин Гао , Хюкджин Квон, Йонут Бойку, Исмаэль Мехия, Иван Садиков, Ярек Потюк, Джейсон Ярбро, Джиаан Гэн, Джи Ху, Хосе Торрес, Джош Розен, Джош Сореф, Жюльен Лафайе, Юнгтаек Лим, Кайфей Йи, Камил Брегула, Карен Фенг, Каруппайя Раджендран, Казуюки Танимура, Ке Цзя, Киртан Васист, Кент Яо, Кевин Пис, Кевин Су, Курт Куйперс, Косуке Сарута, Кун Ван, Куньлунь Хуанг, Лианкен Линь, Лэй Пэн, Леона Йода, Ли Чжан, Лян-Чи Се, Лидия Никсон, Линьхонг Лю, Липэн Чжу, Лука Канали, Людовик Генри, Лука Стуртеваген, Лукас Ритц, Луран Хе, Мацей Шимкевич, Мариос Меймарис, Марианн Сюэ, Мэтью Пауэрс, Макс Гекк, Майя Андерсон, Майкл Чен, Майкл Чжан, Мин Шен, Минчу Янг, Моханад Эльсафти, Николас Марион, Охад Равив, Пабло Ланга, Павел Пташински, Питер Тот, Филлип Генри, Пракхар Джайн, Ци Лю, Ци Чжу, Цилонг ​​Су, Цинбо Цзяо, Куанг-Хуй Нгуен, Рахул Махадев, Раза Джафри, Ричард Чен, Ричард Пенни, Жунчуан Джин, Руи Цзэн, Руйфэн Чжэн, Райан Блю, Саджит Арияратна, Сэмюэл Мозли, Санкет Редди, Сатиш Гопалани, Саурабх Чавла, Шон Оуэн, Серж Рило, Шахид К. И., Шаоюн Чен, Шардул Махадик, Шици Сун, Шисюн Чжу, Стив Лофран, Стивен Аэртс, Сумит Гаджар, Свинки Манн, Такеши Ямамуро, Такуя УЕСИН , Танель Киис, Татхагата Дас, Тенгфей Хуан, Терри Ким, Тяньхан Ху, Тяньхуа Хуан, Тим Армстронг, Тобиас Херманн, Том Ван Бассел, Томас Перейра Де Васконселос, Твентарциан, Василий Колпаков, Венката Кришнан Соврираджан, Венката Саи Ахил Гудеса, Венки Коруканти , Viettel DGD, Vinod KC, Влад Глинский, Валид Гара, Ван Кун, Вейчен Сюй, Венчен Фан, Уильям Хён, Сяо Ли, Сидуо Ю, Синбо Цзян, Синьжун Мэн, СюЛи Вэй, Сюэдун Луань, Яджун Гао, Ян Хэ, Ян Цзе, Ячжи Ван, Е Чжоу, И Ву, И Чжу, Ицзя Цуй, Икунь Цзян, Инъи Бу, Ю Чжон г, Юаньцзянь Ли, Юйчен Хо, Юймин Ван, Юто Акуцу, Зебин Линь, Чжан Синчао, Чжичао Чжан


Архив новостей Spark

ОДИНОКИЙ ГОЛОС ЧЕЛОВЕКА

Во время моих путешествий мне не раз приходилось встречаться с отшельниками, людьми, избравшими жизнь в дебрях сибирской тайги. Эти отшельники добровольно отправились в глушь, оставив позади свой собственный мир, пожертвовав благами современного цивилизованного мира. Почему?


Я прочел, наверное, два десятка работ известных психологов по проблеме одиночества, но так и не нашел ответа на вопрос. Выводы ученых просто не совпадали с тем, что я видел в реальной жизни. Многие исследователи описывают одиночество как болезнь, отражение наших внутренних недостатков. Другие занимают несколько более покровительственную позицию, описывая одиночество как состояние, при котором человек не способен приспособиться к жизни. Однако в одном они сходятся: это болезнь. А по данным опроса, большинству населения планеты знаком его горьковатый вкус.


Я встретил отшельника Ивана Жукова на озере Агульском в Саянских горах. Районы, в которых он живет, невероятно красивы, сохранились и очень удалены. Так далеко, что добраться туда можно только на вертолете.

Свое присутствие в дебрях Иван Жуков объяснял очень просто: «Я охраняю все это от браконьеров». Мы с экипажем «Ми-2» смеялись и приставали к нему с вопросами: «От кого его защищать, если, как вы говорите, в ближайшие полгода другого вертолета по расписанию не будет, если он вообще прилетит? У вас уже мука кончается. Бойтесь, не погибнете ли вы сами». И никто из них здесь не ради красоты».0003

Ближе к вечеру раздались два выстрела. Один из пилотов вертолета решил «прогуляться в одиночестве» с винтовкой. Озеро еще было покрыто льдом, несмотря на майское тепло, а ниже, в устье реки, во льду зияла протаивание. Там вертолетчик подстрелил двух ничего не подозревающих уток, с которыми Жуков всю зиму по-соседски болтал.

Хранитель озера не проповедовал с нами, он просто конфисковал ружье, чтобы присматривать за ним, и как в сторонке сказал, «и вы удивляетесь, от кого все это нужно защищать». Инцидент пробудил в Жукове жизненную силу и дал о себе знать, один против нас четверых. На следующий день мы все еще не могли смотреть ему в глаза. Мы все чувствовали себя виноватыми в том, что произошло.

До инцидента один из нас называл его «Ванька». После этого, даже когда мы разговаривали между собой, он всегда был Иваном. Что-то перевернулось во всех нас после той встречи с агульским отшельником. В его случае фразу психологов «потеря социальных отношений — путь к депрессии» следует спустить в унитаз. Более подходящей была бы цитата Роберта Зайденберга: «Индивидуальное «я» уходит капля за каплей, и лишь немногие счастливчики слышат предупреждающий звоночек».

Встретил Василия Колпакова на реке Чадобец в тайге Приангарья. Раньше меня возили сюда, когда я фотографировал черного аиста, удивительно редкую и скрытную птицу. На этот раз мне пришлось просить разрешения остаться по соседству. Неизвестный отшельник жил у заброшенного меандра, населенного белоснежными лилиями. Василий поприветствовал нас и помчался проверять ловушку в ручье. Он демонстрировал свое гостеприимство свежевыловленной рыбой и нескрываемый восторг. Однако времени на долгие разговоры не было. Каждый был занят своим делом. Василий готовил свою деревянную избушку к предстоящим холодам. Он отремонтировал крышу, заделал щели мхом, собрал кору для интерьера и решительно отказался от моих предложений помощи.

Мы начали разговаривать только после того, как он потянулся за коробком спичек и сделал несколько розыгрышей столь необходимой «свертки».