1с Linux заметки

[icedog]

Bash script: FTP login, download files, delete remote files
Asked by atkinsonit in Bourne-Again Shell (bash)
Tags: bash
I'm trying to create a BASH script to perform the following tasks and I'm stuck on step 4
1) login to remote FTP server
2) download all *.txt files to $HOME/$DATE directory for that day (ie. 20080306)
3) create a list $DATE.list of all the files that were downloaded succesfully to $DATEDIR
4) delete all files in the $DATE.list from the remote server
5) logout. repeat daily!
Here's my script so far without step 4 (because all my tests have failed). How would I send FTP commands to delete each file listed in the $DATE.list file?
************************************************************************************************************
#!/bin/bash

### getFTP v.1 #################
#
# Variables : use backquotes!#
DATE=`date +%Y%m%d`
HOME='/home/itdev/scripts/mepco'
#
HOST='remotehost'
USER='myUser'
PASSWD='myPasswd'
FILE='*.txt'
#
####################################

# Make directory of current date, make that directory local
mkdir $HOME/$DATE
cd $HOME/$DATE

# Login, run get files
ftp -inv $HOST <<END_SCRIPT
quote USER $USER
quote PASS $PASSWD
mget $FILE
!ls > $DATE.list
bye

# Cleanup
exit 0

[icedog]

rsync -e ssh --progress -lzuogthvrn --compress-level=9 --exclude=~.* --exclude=~Загрузки/* --exclude=~Downloads/* --exclude=~torrent/* anatoly@hi-jacker:/home/icedog/ /home/icedog/

rsync -e ssh --progress -lzuogthvrn --compress-level=9 --delete-after --exclude=~/Загрузки/* /home/icedog/ anatoly@192.168.8.35:/home/icedog/

[icedog]

rsync -e ssh --progress -lzuogthvrn --compress-level=9 --exclude=~.* --exclude=~Загрузки/* --exclude=~Downloads/* --exclude=~torrent/* /home/icedog/ anatoly@hi-jacker:/home/icedog/

[icedog]

rsync -rvz /home/ user:pass@hi-jacker:/home
--exclude="/tmp/*" --exclude="*~"
-a – архивный режим (включает рекурсивное копирование и сохранение прав и владельца)
-t, --times – обновлять время модификации файла на приёмной стороне. При отсутствии этой опции или -a
становиться неэффективной оптимизация передачи по времени изменения файлов
-c, --checksum – использование сверки по контрольным суммам, а не по времени изменения и размеру
--size-only – проверка только по размеру файлов
-r – рекурсивный режим (копирование всех подпапок и файлов в них)
-v – подробные вывод операций
-z – компрессия данных при передачи
-p – сохранять права
--del – удалить файлы в папке назначения которых нет в источнике (точная копия)
-R – использовать относительные пути при создании символических ссылок
--numeric-ids – не транслировать имена владельца и группы в цифровые UID и GID, оставить на удалённой
стороне номера как есть
--size-only – использование для сверки только размер файлов
--bwlimit=KBPS – ограничение пропускной способности, чтобы не забивать канал (Kbit/s)
--ignore-errors – продолжать копирование и удаление после появления ошибок
-h – вывод результатов с человеко-читаемом формате

*****************************************
rsync -e ssh --progress -lzuogthvrn --compress-level=9 --exclude=~.* --exclude=~Загрузки/* --exclude=~Downloads/* --exclude=~torrent/* anatoly@hi-jacker:/home/icedog/ /home/icedog/
*****************************************
rsync -e ssh --progress -lzutvrn --compress-level=9 /usr/portage/distfiles/ anatoly@192.168.5.40:/usr/portage/distfiles/
rsync -rvz --stats что и куда
*****************************************
rsync -e ssh --progress -lzuogthvrn --compress-level=9 --exclude=~.* --exclude=~Загрузки/* --exclude=~Downloads/* --exclude=~torrent/* /home/icedog/ anatoly@hi-jacker:/home/icedog/
*****************************************
rsync --help
rsync version 3.0.9 protocol version 30
Copyright (C) 1996-2011 by Andrew Tridgell, Wayne Davison, and others.
Web site: http://rsync.samba.org/
Capabilities:
64-bit files, 64-bit inums, 32-bit timestamps, 64-bit long ints,
socketpairs, hardlinks, symlinks, IPv6, batchfiles, inplace,
append, ACLs, no xattrs, iconv, symtimes
rsync comes with ABSOLUTELY NO WARRANTY. This is free software, and you
are welcome to redistribute it under certain conditions. See the GNU
General Public Licence for details.
rsync is a file transfer program capable of efficient remote update
via a fast differencing algorithm.
Usage: rsync [OPTION]... SRC [SRC]... DEST
or rsync [OPTION]... SRC [SRC]... [USER@]HOST:DEST
or rsync [OPTION]... SRC [SRC]... [USER@]HOST::DEST
or rsync [OPTION]... SRC [SRC]... rsync://[USER@]HOST[:PORT]/DEST
or rsync [OPTION]... [USER@]HOST:SRC [DEST]
or rsync [OPTION]... [USER@]HOST::SRC [DEST]
or rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST]
The ':' usages connect via remote shell, while '::' & 'rsync://' usages connect
to an rsync daemon, and require SRC or DEST to start with a module name.
Options
-v, --verbose increase verbosity
-q, --quiet suppress non-error messages
--no-motd suppress daemon-mode MOTD (see manpage caveat)
-c, --checksum skip based on checksum, not mod-time & size
-a, --archive archive mode; equals -rlptgoD (no -H,-A,-X)
--no-OPTION turn off an implied OPTION (e.g. --no-D)
-r, --recursive recurse into directories
-R, --relative use relative path names
--no-implied-dirs don't send implied dirs with --relative
-b, --backup make backups (see --suffix & --backup-dir)
--backup-dir=DIR make backups into hierarchy based in DIR
--suffix=SUFFIX set backup suffix (default ~ w/o --backup-dir)
-u, --update skip files that are newer on the receiver
--inplace update destination files in-place (SEE MAN PAGE)
--append append data onto shorter files
--append-verify like --append, but with old data in file checksum
-d, --dirs transfer directories without recursing
-l, --links copy symlinks as symlinks
-L, --copy-links transform symlink into referent file/dir
--copy-unsafe-links only "unsafe" symlinks are transformed
--safe-links ignore symlinks that point outside the source tree
-k, --copy-dirlinks transform symlink to a dir into referent dir
-K, --keep-dirlinks treat symlinked dir on receiver as dir
-H, --hard-links preserve hard links
-p, --perms preserve permissions
-E, --executability preserve the file's executability
--chmod=CHMOD affect file and/or directory permissions
-A, --acls preserve ACLs (implies --perms)
-o, --owner preserve owner (super-user only)
-g, --group preserve group
--devices preserve device files (super-user only)
--specials preserve special files
-D same as --devices --specials
-t, --times preserve modification times
-O, --omit-dir-times omit directories from --times
--super receiver attempts super-user activities
-S, --sparse handle sparse files efficiently
-n, --dry-run perform a trial run with no changes made
-W, --whole-file copy files whole (without delta-xfer algorithm)
-x, --one-file-system don't cross filesystem boundaries
-B, --block-size=SIZE force a fixed checksum block-size
-e, --rsh=COMMAND specify the remote shell to use
--rsync-path=PROGRAM specify the rsync to run on the remote machine
--existing skip creating new files on receiver
--ignore-existing skip updating files that already exist on receiver
--remove-source-files sender removes synchronized files (non-dirs)
--del an alias for --delete-during
--delete delete extraneous files from destination dirs
--delete-before receiver deletes before transfer, not during
--delete-during receiver deletes during the transfer
--delete-delay find deletions during, delete after
--delete-after receiver deletes after transfer, not during
--delete-excluded also delete excluded files from destination dirs
--ignore-errors delete even if there are I/O errors
--force force deletion of directories even if not empty
--max-delete=NUM don't delete more than NUM files
--max-size=SIZE don't transfer any file larger than SIZE
--min-size=SIZE don't transfer any file smaller than SIZE
--partial keep partially transferred files
--partial-dir=DIR put a partially transferred file into DIR
--delay-updates put all updated files into place at transfer's end
-m, --prune-empty-dirs prune empty directory chains from the file-list
--numeric-ids don't map uid/gid values by user/group name
--timeout=SECONDS set I/O timeout in seconds
--contimeout=SECONDS set daemon connection timeout in seconds
-I, --ignore-times don't skip files that match in size and mod-time
--size-only skip files that match in size
--modify-window=NUM compare mod-times with reduced accuracy
-T, --temp-dir=DIR create temporary files in directory DIR
-y, --fuzzy find similar file for basis if no dest file
--compare-dest=DIR also compare destination files relative to DIR
--copy-dest=DIR ... and include copies of unchanged files
--link-dest=DIR hardlink to files in DIR when unchanged
-z, --compress compress file data during the transfer
--compress-level=NUM explicitly set compression level
--skip-compress=LIST skip compressing files with a suffix in LIST
-C, --cvs-exclude auto-ignore files the same way CVS does
-f, --filter=RULE add a file-filtering RULE
-F same as --filter='dir-merge /.rsync-filter'
repeated: --filter='- .rsync-filter'
--exclude=PATTERN exclude files matching PATTERN
--exclude-from=FILE read exclude patterns from FILE
--include=PATTERN don't exclude files matching PATTERN
--include-from=FILE read include patterns from FILE
--files-from=FILE read list of source-file names from FILE
-0, --from0 all *-from/filter files are delimited by 0s
-s, --protect-args no space-splitting; only wildcard special-chars
--address=ADDRESS bind address for outgoing socket to daemon
--port=PORT specify double-colon alternate port number
--sockopts=OPTIONS specify custom TCP options
--blocking-io use blocking I/O for the remote shell
--stats give some file-transfer stats
-8, --8-bit-output leave high-bit chars unescaped in output
-h, --human-readable output numbers in a human-readable format
--progress show progress during transfer
-P same as --partial --progress
-i, --itemize-changes output a change-summary for all updates
--out-format=FORMAT output updates using the specified FORMAT
--log-file=FILE log what we're doing to the specified FILE
--log-file-format=FMT log updates using the specified FMT
--password-file=FILE read daemon-access password from FILE
--list-only list the files instead of copying them
--bwlimit=KBPS limit I/O bandwidth; KBytes per second
--write-batch=FILE write a batched update to FILE
--only-write-batch=FILE like --write-batch but w/o updating destination
--read-batch=FILE read a batched update from FILE
--protocol=NUM force an older protocol version to be used
--iconv=CONVERT_SPEC request charset conversion of filenames
-4, --ipv4 prefer IPv4
-6, --ipv6 prefer IPv6
--version print version number
(-h) --help show this help (-h is --help only if used alone)
Use "rsync --daemon --help" to see the daemon-mode command-line options.
Please see the rsync(1) and rsyncd.conf(5) man pages for full documentation.
See http://rsync.samba.org/ for updates, bug reports, and answers

[icedog]

Postgres Pro Standard 13
Поддерживаемые конфигурации: версии операционной системы и архитектуры
centos 7: x86_64, ppc64le
centos 8: aarch64, ppc64le, x86_64

Инструкции по установке

Код: Выделить всё

rpm -i https://repo.postgrespro.ru/pgpro-13/keys/centos.rpm
yum makecache

Если наш продукт единственный Postgres на вашей машине и вы хотите сразу получить готовую к употреблению базу:

Код: Выделить всё

yum install postgrespro-std-13

Если у вас уже установлен другой Postgres и вы хотите чтобы он продолжал работать параллельно (в том числе и для апгрейда с более старой major-версии):

Код: Выделить всё

yum install postgrespro-std-13-contrib
/opt/pgpro/std-13/bin/pg-setup initdb
/opt/pgpro/std-13/bin/pg-setup service enable
/opt/pgpro/std-13/bin/pg-setup service start

Если вы хотите создать базу пригодную для использования с продуктами 1С:

Код: Выделить всё

yum install postgrespro-std-13-contrib
/opt/pgpro/std-13/bin/pg-setup initdb --tune=1c
/opt/pgpro/std-13/bin/pg-setup service enable
/opt/pgpro/std-13/bin/pg-setup service start

В состав PostgresPro Standard входят многочисленные дополнительные компоненты, которые могут быть установлены с помощью yum после установки собственно Postgres

Компонентыmamonsu 2.7.1

orafce-std-13 3.15.1
pg-filedump-std-13 13.1
pg-portal-modify-std-13 0.3.1
pg-probackup-std-13 2.4.16
pg-repack-std-13 1.4.6
pgbouncer 1.15.0
pgpro-controldata 13.2.0
pgpro-pgbadger 11.3
pgpro-pwr-std-13 0.3.2
pgpro-stats-std-13 1.2.1
pldebugger-std-13 1.1.1
postgrespro-std-13 13.3.1
postgrespro-std-13-client 13.3.1
postgrespro-std-13-contrib 13.3.1
postgrespro-std-13-devel 13.3.1
postgrespro-std-13-docs 13.3.1
postgrespro-std-13-docs-ru 13.3.1
postgrespro-std-13-jit 13.3.1
postgrespro-std-13-libs 13.3.1
postgrespro-std-13-plperl 13.3.1
postgrespro-std-13-plpython 13.3.1
postgrespro-std-13-plpython3 13.3.1
postgrespro-std-13-pltcl 13.3.1
postgrespro-std-13-server 13.3.1
postgrespro-std-13-test 13.3.1
oracle-fdw-std-13 2.3.0
libevent2 2.0.21
PostgresPro 13.3.1

[icedog]

Монтируем шару windows в каталог /srv/share если в пароле пользователя есть один или много спецсимволов (один из вариантов)

Создать файл .smbcredentials в домашней директории пользователя или root следующего содержания

Код: Выделить всё

username=user
password=Hfpvtxnfkcz%$38149!$*
domain=domain_or_workgroupname

Меняем данные на свои. Заменим права на файл

Код: Выделить всё

chmod 0600 ~/.smbcredentials

Меняем содержимое /etc/fstab

Код: Выделить всё

//192.168.0.185/share    /srv/share      cifs     credentials=/home/rojer/.smbcredentials,iocharset=utf8,file_mode=0777,dir_mode=0777 0 0

Монтируем как обычно

[icedog]

Обновить кэш шрифтов

Код: Выделить всё

fc-cache -f -v