Скрипт — помощник сайтостроителя под *nix

Я требую C & ncurses! :C

Ещё одна полезняшка.

Drupal сцуко не работает.. Предстоит операция над базой сайта. Хочу имплантировать таблицы от свеженького румяненького донора. Можно вручную надёргать таблиц. Но — лень. Как всегда.

Почему бы не пройтись по базе рекурсивно скриптом?

#!/bin/sh

#backup all tables in database

DBNAME="site1"

DBUSER="root"

DBPASS="mypass"

DBHOST="localhost"

DIR="/usr/home/webuser1/backup/site1"

LOG="$DIR/mysql_dump.log"

TIMENAME=`date +%Y-%m-%d-%H%M`

mkdir -p ${DIR}/${TIMENAME}

touch $LOG

echo ${DBUSER} ${DBPASS} ${DBNAME}

TABLES=`mysql -u${DBUSER} -p${DBPASS} ${DBNAME} -Bse 'show tables'`

for TABLE in ${TABLES}; do

    TIMEDUMP=`date '+%T %x'`

	echo "backup has been done at $TIMEDUMP : $TIMENAME on tables: ${TABLE}" >> $LOG

	mysqldump -u${DBUSER} -h ${DBHOST} -p${DBPASS} ${DBNAME} ${TABLE} > "$DIR/${TIMENAME}/${DBNAME}.${TABLE}.sql" 

done

На выходе имеем директорию с красивенькими файлами

site1.actions.sql                     site1.date_format_locale.sql          site1.image_effects.sql               site1.search_total.sql

site1.authmap.sql                     site1.date_format_type.sql            site1.image_styles.sql                site1.semaphore.sql

site1.batch.sql                       site1.date_formats.sql                site1.menu_custom.sql                 site1.sequences.sql

site1.block.sql                       site1.field_config.sql                site1.menu_links.sql                  site1.sessions.sql

site1.block_custom.sql                site1.field_config_instance.sql       site1.menu_router.sql                 site1.shortcut_set.sql

site1.block_node_type.sql             site1.field_data_body.sql             site1.node.sql                        site1.shortcut_set_users.sql

site1.block_role.sql                  site1.field_data_comment_body.sql     site1.node_access.sql                 site1.system.sql

site1.blocked_ips.sql                 site1.field_data_field_image.sql      site1.node_comment_statistics.sql     site1.taxonomy_index.sql

site1.cache.sql                       site1.field_data_field_tags.sql       site1.node_revision.sql               site1.taxonomy_term_data.sql

site1.cache_block.sql                 site1.field_revision_body.sql         site1.node_type.sql                   site1.taxonomy_term_hierarchy.sql

site1.cache_bootstrap.sql             site1.field_revision_comment_body.sql site1.queue.sql                       site1.taxonomy_vocabulary.sql

site1.cache_field.sql                 site1.field_revision_field_image.sql  site1.rdf_mapping.sql                 site1.url_alias.sql

site1.cache_filter.sql                site1.field_revision_field_tags.sql   site1.registry.sql                    site1.users.sql

site1.cache_form.sql                  site1.file_managed.sql                site1.registry_file.sql               site1.users_roles.sql

site1.cache_image.sql                 site1.file_usage.sql                  site1.role.sql                        site1.variable.sql

site1.cache_menu.sql                  site1.filter.sql                      site1.role_permission.sql             site1.watchdog.sql

site1.cache_page.sql                  site1.filter_format.sql               site1.search_dataset.sql

site1.cache_path.sql                  site1.flood.sql                       site1.search_index.sql

site1.comment.sql                     site1.history.sql                     site1.search_node_links.sql

Внесу свои пять копеек. Пользуюсь вот таким скриптом для поправки владельца, прав к файлам на веб-сервере, а также сжатию css и js (для Nginx):

#!/bin/bash



if [ $EUID -ne 0 ]

  then

    echo "no, only root!"

    exit 1

  fi



vhosts=('site1.ru' 'site2.ru' 'site3.ru')



for vhost in ${vhosts[@]}; do

  echo "Работаем с vhost "$vhost"..."

  echo "Сжимаем статический контент:"

  for i in `find /var/www/$vhost/html/ \( -name "*.css" -o -name "*.js" \)`; do echo $i; gzip -c -9 $i > $i.gz; touch -r $i $i.gz; done;

  echo "Исправляем владельца файлов и папок..."

  chown -R http:http /var/www/$vhost/html/

  echo "Исправляем права доступа к файлам..."

  find /var/www/$vhost/html/ -type f -exec chmod 0644 {} \;

  echo "Исправляем права доступа к папкам..."

  find /var/www/$vhost/html/ -type d -exec chmod 2755 {} \;

done

Условия: папки виртуалхостов лежат в /var/www/, корневые каталоги представляют из себя папки html внутри папок виртхостов. Веб-сервер работает от пользователя http.

Накачал кучу лекций на видео. Они короткие, замучился с дивана бегать, запускать. Плеер у меня mplayer, а там фиг знает, как плейлист составлять...

Накропал такое дело:

Файл runall

#!/bin/sh

COMMAND_APP=$*

SAVEIFS=$IFS

IFS='

'

FILES_LIST=`find . -type f  -name '*.*'`

	for FILE in ${FILES_LIST}; do

		echo $FILE

		${COMMAND_APP} $FILE;

	done

IFS=$SAVEIFS

Скрипт пробегает по низлежащим директориям и применяет введёную команду ко всем найденным файлам. В моём случае, запускается так:

runall mplayer

Кто-то может сказать, что данное действо делается в одну строчку, но я на память всегда жаловался, мне проще набрать runall и наслаждаться.

#!/bin/bash
mkdir thumbs
for f in *.JPG; do
convert $f -resize 1024 thumbs/${f%%JPG}jpg
done

Элементарный ресайз всех .jpg/.JPG изображений из текущей директории в директорию thumbs. 1024 - ширина картинки на выходе, можно указать другой размер.

У многих из нас скопилось множество текстовых файлов и листингов программ в разных кодировках.

Под Windows проблем почти не возникает, умные редакторы сами открывают, как надо. Не везде так радужно. Народный редактор mcedit переключает кодировки вручную. Великолепный инструмент кодера Geany часто определяет кодировку неверно. Ну и вообще, бардак надо устранять.

Существуют скрипты, перекодирующие поток. У них есть недостаток — для каждого файла надо указывать кодировку персонально. В общем, мне это надоело, и я написал автомат определитель-перекодировщик. Скрипт обрабатывает файлы в текущей и низлежащих директориях. Четыре кодировки на выбор. По аналогии, можете прикрутить любую другую.

#!/bin/sh

#For content

#permission must be 755!

#/path/to/script/transcoder.sh

#sh transcoder.sh KOI8-R

#Можно положить в Path /usr/local/bin/transcoder и вызывать transcoder KOI8-R

#Эта версия удаляет переносы DOS, не останавливается при невозможности перекодировать символ





#Получаем параметр из строки

TARGET_ENCODING=$*

#Скидываем в дефолт

IS_CP1251=0

IS_UTF_8=0

IS_UTF_8=0

IS_KOI8_R=0

IS_CP866=0

DO_IT=0

SAVEIFS=$IFS

#Устанавливаем разделитель строк

IFS='

'

if [ "${TARGET_ENCODING}" = "CP1251" ]; then

	IS_CP1251=1

	echo CP1251 $IS_CP1251

	DO_IT=1

fi

if [ "${TARGET_ENCODING}" = "UTF-8" ]; then

	IS_UTF_8=1

	echo UTF_8 $IS_UTF_8

	DO_IT=1

fi

if [ "${TARGET_ENCODING}" = "KOI8-R" ]; then

	IS_KOI8_R=1

	echo IS_KOI8_R $IS_KOI8_R

	DO_IT=1

fi

if [ "${TARGET_ENCODING}" = "CP866" ]; then

	IS_CP866=1

	echo IS_CP866 $IS_CP866

	DO_IT=1

fi

if [ "${DO_IT}" = 0 ]; then

	echo "Please specify the target encoding."

	echo "List of available encodings:UTF-8, CP1251, KOI8-R, CP866"

	echo "Usage: transcoder <target encoding>"

	echo "e.g.: transcoder UTF-8"

fi



#Если "добро" (кодировка указана явно)

if [ "${DO_IT}" = 1 ]; then

#Заносим список низлежащих файлов в массив

FILES_LIST=`find . -type f  -name '*.ht*' -o -name '*.txt' -o -name '*.php'  -o -name '*.sh'  -o -name '*.dat'`

	for FILE in ${FILES_LIST}; do

		echo $FILE

		#echo `enca $FILE`

		#echo `enca $FILE | grep "line terminators"`

		#echo `enca $FILE | grep "MS-Windows code page 1251"`

		if [ "${IS_CP1251}" = 0 ]; then

			CODEPAGE=`enca $FILE | grep "MS-Windows code page 1251"`

			echo $CODEPAGE

			if [ "${CODEPAGE}" = "MS-Windows code page 1251" ]; then

				iconv -c -f CP1251 -t ${TARGET_ENCODING} "$FILE" | sed -e 's/'"`printf '\015'`"'$//' > tmp

				mv -f tmp "$FILE"

			fi

		fi

		if [ "${IS_UTF_8}" = 0 ]; then

			CODEPAGE=`enca $FILE | grep "Universal transformation format 8 bits"`

			echo $CODEPAGE

			if [ "${CODEPAGE}" = "Universal transformation format 8 bits; UTF-8" ]; then

				iconv -c -f UTF-8 -t ${TARGET_ENCODING} "$FILE" | sed -e 's/'"`printf '\015'`"'$//' > tmp

				mv -f tmp "$FILE"

			fi

		fi

		if [ "${IS_KOI8_R}" = 0 ]; then

			CODEPAGE=`enca $FILE | grep "KOI8-R Cyrillic"`

			echo $CODEPAGE

			if [ "${CODEPAGE}" = "KOI8-R Cyrillic" ]; then

				iconv -c -f KOI8-R -t ${TARGET_ENCODING} "$FILE" | sed -e 's/'"`printf '\015'`"'$//' > tmp

				mv -f tmp "$FILE"

			fi

		fi

		if [ "${IS_CP866}" = 0 ]; then

			CODEPAGE=`enca $FILE | grep "IBM/MS code page 866"`

			echo $CODEPAGE

			if [ "${CODEPAGE}" = "IBM/MS code page 866" ]; then

				iconv -c -f CP866 -t ${TARGET_ENCODING} "$FILE" | sed -e 's/'"`printf '\015'`"'$//'  > tmp

				mv -f tmp "$FILE"

			fi

		fi





		#echo `enca $FILE | grep "Universal transformation format 8 bits`

		#echo `enca $FILE | grep "7bit ASCII characters"`

		#echo `enca $FILE | grep "KOI8-R Cyrillic"`

		#echo `enca $FILE | grep "IBM/MS code page 866"`

		#LF line terminators



	done

fi

IFS=$SAVEIFS

Великолепная enca работает лучше встроенных распознавателей многих редакторов!

Очередной бэкап :)

На этот раз всех или выбранной базы данных MySQL.

Если запустить без параметров, бэкапит всё.

Обратите внимание, есть опция сброса всех таблиц, содержащих в имени вхождение "cache". В моём случае экономит треть объёма в архиве. Так же можно отключить сжатие на медленном процессоре или при нехватке памяти.

Скрипт dbbackup:

#!/bin/sh
#backup databases
#Usage: 
#dbbackup  - backup all databases
#dbbackup dbname - backup single database
TRUNCATE_CACHE="1"
GZIP_BASE="1"
DBUSER="root"
DBPASS="password"
DBHOST="localhost"
DIR="/usr/home/user/backup"    #или DIR="./", шоб прям сюда
LOG="/var/log/mysql_dump.log"

#Дальше вдумчиво, не ломайте логику.
TIMENAME=`date +%Y-%m-%d-%H%M`
SINGLE_BASE="1"
DBNAME=$*
mkdir -p ${DIR}/${TIMENAME}
touch ${LOG}
TIMEDUMP=`date '+%T %x'`

if [ "${DBNAME}" = "" ]; then
	DBASES=`/usr/local/bin/mysql -u${DBUSER} -h ${DBHOST} -p${DBPASS} -Bse 'show databases'`
	for DBNAME in ${DBASES}; do
		if [ "${TRUNCATE_CACHE}" = "1" ]; then
			TRUNCATE_TABLES=`/usr/local/bin/mysql -u${DBUSER} -h ${DBHOST} -p${DBPASS} ${DBNAME} -Bse 'show tables;' | grep cache`
			for TABLENAME in ${TRUNCATE_TABLES}; do
				/usr/local/bin/mysql -u${DBUSER} -h ${DBHOST} -p${DBPASS} ${DBNAME} -Bse "truncate table ${TABLENAME};"
			done
		fi
		if [ "${GZIP_BASE}" = "1" ]; then
			/usr/local/bin/mysqldump -u${DBUSER} -h ${DBHOST} -p${DBPASS} ${DBNAME} | gzip -c > "$DIR/${TIMENAME}/${DBNAME}.sql.gz" 
	    else
			/usr/local/bin/mysqldump -u${DBUSER} -h ${DBHOST} -p${DBPASS} ${DBNAME} > "$DIR/${TIMENAME}/${DBNAME}.sql" 
	    fi
	    TIMEDUMP=`date '+%T %x'`
		echo "backup has been done at $TIMEDUMP: on db: ${DBNAME}" >> ${LOG}
	done
	SINGLE_BASE="0"
fi
if [ "${SINGLE_BASE}" = "1" ]; then
	if [ "${TRUNCATE_CACHE}" = "1" ]; then
		TRUNCATE_TABLES=`mysql -u${DBUSER} -h ${DBHOST} -p${DBPASS} ${DBNAME} -Bse 'show tables;' | grep cache`
		for TABLENAME in ${TRUNCATE_TABLES}; do
			/usr/local/bin/mysql -u${DBUSER} -h ${DBHOST} -p${DBPASS} ${DBNAME} -Bse "truncate table ${TABLENAME};"
		done
	fi
    if [ "${GZIP_BASE}" = "1" ]; then
    	/usr/local/bin/mysqldump -u${DBUSER} -h ${DBHOST} -p${DBPASS} ${DBNAME} | gzip -c > "$DIR/${TIMENAME}/${DBNAME}.sql.gz" 
    else
    	/usr/local/bin/mysqldump -u${DBUSER} -h ${DBHOST} -p${DBPASS} ${DBNAME} > "$DIR/${TIMENAME}/${DBNAME}.sql" 
    fi
    TIMEDUMP=`date '+%T %x'`
	echo "backup has been done at $TIMEDUMP: on db: ${DBNAME}" >> ${LOG}
fi

Абсолютные пути для FreeBSD 8+

Стоит все-таки освоить систему контроля версий. Советую git.

Бекап, история изменений, аплоад/даунлоад сайта с сервера и многое другое :)

На разобраться на базовом уровне хватит часа думаю, быстрее чем писать скрипты ;)

Сортируем файл по длине строк, на этот раз в одну строку

cat infile.txt | awk '{ print length($0) " AABBCCDDEEFF" $0 | "sort -n"}' | awk -F \ AABBCCDDEEFF '{print $2}' > outfile.txt

#!/bin/sh
#Перевод содержимого файла в нижний регистр
#Поместить в /usr/local/sbin/
#Применять так: 2lowercase file.txt
FILE_NAME=$*
cat ${FILE_NAME} | tr A-ZА-Я a-zа-я  > tmp.tmp
rm ${FILE_NAME}
mv tmp.tmp ${FILE_NAME}