Автоопределение кодировки текста / Хабр

Введение

Я очень люблю программировать, я любитель и первый и последний раз заработал на программировании в далёком 1996 году. Но для автоматизации повседневных задач иногда что-то пишу. Примерно год назад открыл для себя golang. В качестве инструмента создания утилит golang оказался очень удобным. Итак.

Возникла потребность обработать большое количество (больше тысячи, так и вижу улыбки профи) архивных файлов со специальной геофизической информацией. Формат файлов текстовый, простой. Если вдруг интересно то это LAS формат.LAS файл содержит заголовок и данные.

Данные практически CSV, только разделитель табуляция или пробелы.

А заголовок содержит описание данных и вот в нём обычно содержится русский текст. Это может быть название месторождения, название исследований, записанных в файл и пр.

Файлы эти созданы в разное время и в разных программах, доходит до того, что в одном файле часть в кодировке CP1251, а часть в CP866. Файлы эти мне нужно обработать, а значит понять. Вот и потребовалось определять автоматически кодировку файла.

В итоге изобрёл велосипед на golang и соответственно родилась маленькая библиотечка с возможностью детектировать кодовую страницу.

Про кодировки. Не так давно на хабре была хорошая статья про кодировкиКак работают кодировки текста. Откуда появляются «кракозябры». Принципы кодирования. Обобщение и детальный разборЕсли хочется понять, что такое “кракозябры” или “кости”, то стоит прочитать.

В начале я накидал своё решение. Потом пытался найти готовое работающее решение на golang, но не вышло. Нашлось два решения, но оба не работают.

Обе уверенно ошибаются на некоторых кодировках. Стандартная та вообще почти ничего определить не может по текстовым файлам, оно и понятно, её для html страниц делали.

При поиске часто натыкался на готовые утилиты из мира linux — enca. Нашёл её версию скомпилированную для WIN32, версия 1.12. Её я тоже рассмотрю, там есть забавности. Я прошу сразу прощения за своё полное незнание linux, а значит возможно есть ещё решения которые тоже можно попытаться прикрутить к golang коду, я больше искать не стал.

Excusez-moi?

Раз уж мы теперь знаем, о чем говорим, заметим: 95 символов – это совсем немного, когда речь идет о языках. Этот набор покрывает базовый английский, но как насчет французских символов? А вот это Straßen¬übergangs¬änderungs¬gesetz из немецкого языка? А приглашение на smörgåsbord в шведском? В-общем, не получится. Не в ASCII. Спецификация на представление é, ß, ü, ä, ö просто отсутствует.

“Постойте-ка”, скажут европейцы, “в обычных компьютерах с 8 битами в байте, ASCII никак не использует бит, который всегда равен 0! Мы можем использовать его, чтобы расширить таблицу еще на 128 значений”. И было так. Но способов обозначить звучание гласных еще слишком много.

Не все сочетания букв и значений, используемые в европейских языках, влезают в таблицу из 256 записей. Так мир пришел к изобилию кодировок, стандартов, стандартов де-факто и недостандартов, которые покрывают все субнаборы символов. Кому-то понадобилось написать документ на шведском или чешском, и, не найдя нужной кодировки, просто изобрел еще одну. Или я думаю, что все так и произошло.

Не забывайте о русском, хинди, арабском, корейском и множестве других живых языков планеты. Про мертвые уж молчим. Как только вы найдете способ писать документ, использующий несколько языков, попробуйте добавить китайский. Или японский. Оба содержат тысячи символов. И у вас всего 256 значений. Вперед!

Utf-8 и ascii

Гениальность UTF-8 в бинарной совместимости с ASCII, которая является де-факто основой для всех кодировок. Все символы ASCII занимают максимум байт в UTF-8 и используют те же биты, что и в ASCII. Иными словами, ASCII может быть отражено 1:1 в UTF-8. Любой символ не из ASCII занимает 2 или более байт в UTF-8.

$string = “漢字”;

Сохранение в UTF-8 даст последовательность:

00100100 01110011 01110100 01110010 01101001 01101110 01100111 00100000
00111101 00100000 00100010 11100110 10111100 10100010 11100101 10101101
10010111 00100010 00111011

Только 12 байт из 17(те, что начинаются с 1) являются символами UTF-8(2 символа по 3 байта). Прочие символы находятся в ASCII. Парсер прочитает следующее:

$string = «11100110 10111100 10100010 11100101 10101101 10010111»;

Парсер воспринимает все за кавычкой как последовательность бит, которую нужно трактовать как есть, все, вплоть до другой кавычки. Если вы просто выведете эту последовательность, вы выведете текст в UTF-8. Не нужно делать ничего больше. Парсеру не нужно специально поддерживать utf-8, нужно просто воспринимать строки буквально.

Или dvd video

Рассматривать MPEG-4 CD как конечный формат имеет смысл только при обработке MPEG-4 видеороликов, так как в этом случае можно избежать длительной процедуры перекодирования видео (перекодирование в MPEG-2 часового фильма занимает 1-2 часа). Процесс создания MPEG-4 CD без перекодирования видео дает немного возможностей для творчества — можно добавить субтитры в отдельном файле .

SRT и вторую звуковую дорожку с комментариями или музыкальным сопровождением, возможен линейный монтаж по ключевым кадрам — с точностью 0.5 сек при GOP=15. Титры, переходы и различные видеоэффекты при линейном монтаже недоступны, так как нельзя вносить изменения в «картинку». Кроме того, MPEG-4 CD не позволяет создавать меню с выбором эпизодов [43].

Основным достоинством такого подхода является скорость обработки материала — MPEG-4 CD можно сделать за 10-15 минут и сразу же смотреть на DVD-MPEG4 проигрывателе, либо поместить в домашний архив. Еще одно достоинство MPEG-4 — небольшие размеры файлов, что позволяет хранить несколько часов отснятого видео на ноутбуке или домашнем компьютере.

Формат DVD-Video предоставляет больше возможностей для творчества. Здесь нам доступны все возможности нелинейного монтажа — переходы, титры, видеоэффекты и т.п. Многие программы монтажа позволяют экспортировать проект сразу на DVD, а также содержат набор готовых шаблонов, позволяющих быстро создавать меню диска (например, Ulead Video Studio, идущая в комплекте с некоторыми фотовидеокамерами).

Исходный текст си-программы

/*директивы препроцессора, указывающие компилятору на необходимость включения информации, содержащейся в файлe stdio.h, iostream.h, windows.h*/

#include <stdio.h>

#include <math.h>

#include <iostream.h>

#include <windows.h>

/*функция для вывода кириллицы*/

char buf_cirilic_output[256]; /* буфер для преобразованного текста из ANSI в ASCII*/

char * cirilic_txt(char *buf_input)

CharToOem(buf_input, buf_cirilic_output); /*преобразованиетекстаиз ANSI в ASCII*/

return buf_cirilic_output;

/*функция для определения n-го элемента*/

double function(int n)

/*описание локальных переменных*/

double el;

el=1/(pow(n,2) n); /*вычисление значения слагаемого по заданной формуле*/

return(el);

void main()

/*описание глобальных переменных*/

double symma;

float E;

int i=1;

do /*цикл для ввода точности с проверкой на ошибку*/

cout << cirilic_txt(«Введите e (точность) в экспоненциальном виде (например e=2.14E-3), причем е>0ne=»);

cin >> E; /* вводим значение точности до тех пор, пока точность не станет удовлетворять условию */

while (E<=0);

symma=function(i); /*первоначальное значение суммы равно первому слагаемому, используем функцию, определенную ранее*/

while (function(i)-function(i 1)>=E) /*пока не достигнута заданная точность*/

i ; /*увеличение счетчика на 1*/

symma=symma function(i); /*прибавляем текущее слагаемое*/

printf(“%s %5.16En”, cirilic_txt(«Сумма равна „), symma); /*выводим результат – значение суммы – на экран*/

Ищем решение

Очевидно, чтобы избавиться от всех этих проблем, надо как-то привести их к единообразию.

И вот тут начинается самое интересное:

# -*- coding: utf-8 -*-
>>> import sys
>>> import locale
>>> print sys.getdefaultencoding()
ascii
>>> print locale.getpreferredencoding() # linux
UTF-8
>>> print locale.getpreferredencoding() # win32/rus
cp1251
# и самое интересное:
>>> print sys.stdout.encoding # linux
UTF-8
>>> print sys.stdout.encoding # win32
cp866

Ага! Оказывается «система» у нас живёт вообще в ASCII. Как следствие — попытка по-простому работать с вводом/выводом заканчивается «любимым» исключением

UnicodeEncodeError/UnicodeDecodeError

Кроме того, как замечательно видно из примера, если в linux у нас везде utf-8, то в Windows — две разных кодировки — так называемая ANSI, она же cp1251, используемая для графической части и OEM, она же cp866, для вывода текста в консоли. OEM кодировка пришла к нам со времён DOS-а и, теоретически, может быть также перенастроена специальными командами, но на практике никто этого давно не делает.

До недавнего времени я пользовался распространённым способом исправить эту неприятность:

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# ==============
#      Main script file
# ==============
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
# или
import locale
sys.setdefaultencoding(locale.getpreferredencoding())
# ...

И это, в общем-то, работало. Работало до тех пор, пока пользовался

print

-ом. При переходе к выводу на экран через

logging

всё сломалось.

Угу, подумал я, раз «оно» использует кодировку по-умолчанию, — выставлю-ка я ту же кодировку, что в консоли:

sys.setdefaultencoding(sys.stdout.encoding or sys.stderr.encoding)

Уже чуть лучше, но:

Присмотревшись к первому примеру, нетрудно заметить, что так желаемую кодировку «cp866» можно получить только проверив атрибут соответствующего потока. А он далеко не всегда оказывается доступен.

Вторая часть задачи — оставить системную кодировку в utf-8, но корректно настроить вывод в консоль.

Для индивидуальной настройки вывода надо переопределить обработку выходных потоков примерно так:

import sys
import codecs
sys.stdout = codecs.getwriter('cp866')(sys.stdout,'replace')

Этот код позволяет убить двух зайцев — выставить нужную кодировку и защититься от исключений при печати всяких умляутов и прочей типографики, отсутствующей в 255 символах cp866.

Осталось сделать этот код универсальным — откуда мне знать OEM кодировку на произвольном сферическом компе? Гугление на предмет готовой поддержки ANSI/OEM кодировок в python ничего разумного не дало, посему пришлось немного вспомнить WinAPI

UINT GetOEMCP(void); // Возвращает системную OEM кодовую страницу как число
UINT GetANSICP(void); // то же для ANSI кодовой странцы

… и собрать всё вместе:

# -*- coding: utf-8 -*-
import sys
import codecs

def setup_console(sys_enc="utf-8"):
    reload(sys)
    try:
        # для win32 вызываем системную библиотечную функцию
        if sys.platform.startswith("win"):
            import ctypes
            enc = "cp%d" % ctypes.windll.kernel32.GetOEMCP() #TODO: проверить на win64/python64
        else:
            # для Linux всё, кажется, есть и так
            enc = (sys.stdout.encoding if sys.stdout.isatty() else
                        sys.stderr.encoding if sys.stderr.isatty() else
                            sys.getfilesystemencoding() or sys_enc)

        # кодировка для sys
        sys.setdefaultencoding(sys_enc)

        # переопределяем стандартные потоки вывода, если они не перенаправлены
        if sys.stdout.isatty() and sys.stdout.encoding != enc:
            sys.stdout = codecs.getwriter(enc)(sys.stdout, 'replace')

        if sys.stderr.isatty() and sys.stderr.encoding != enc:
            sys.stderr = codecs.getwriter(enc)(sys.stderr, 'replace')

    except:
        pass # Ошибка? Всё равно какая - работаем по-старому...

Ложные обещания

Одной моей мозолью стали функции utf8_encode и utf8_decode. Я часто вижу глупости наподобии «Чтобы использовать Unicode в PHP, нужно вызвать utf8_encode для вводимого текста и utf8_decode для выводимого». Эти две функции обещают некую автоматическую конвертацию текста UTF-8, которая якобы обязательна, ибо «PHP не поддерживает Unicode». Если вы читаете эту статью не по диагонали, то знаете, что

1. Ничего специфического нет в UTF-8
2. Вы не можете закодировать текст в UTF-8 постфактум

Поясню пункт 2: любой текст уже чем-то закодирован. Когда вы вставляете строки в исходный код, они уже имеют кодировку. Точнее, ту кодировку, которую сейчас использует ваш текстовый редактор. Если вы получаете их из бд, они уже закодированы. Если вы читаете их из файла… уже знаете, да?

Текст либо закодирован в UTF-8, либо не закодирован. Если нет, то он закодирован в ASCII, ISO-8859-1, UTF-16 или как-нибудь еще. Если он не в UTF-8, но предполагается, что он содержит «UTF-8 символы», то у вас когнитивный диссонанс. Если текст все же содержит нужные символы, закодированные в UTF-8, то он в UTF-8.

Так что же, черт возьми, делает utf8_encode?

«Переводит строку ISO-8859-1 в кодировку UTF-8»

Ага! Автор хотел сказать, что функция конвертирует текст из ISO-8859-1 в UTF-8. Вот она для чего. Такое ужасное название ей наверно дал какой-нибудь непредусмотрительный европеец. Тоже самое касается и utf8_decode. Эти функции неприменимы ни для чего, кроме конвертации из ISO-8859-1 в UTF-8.

Если вам нужна другая пара кодировок, используйте iconv.utf8_encode – это вам не волшебная палочка, которой нужно махать над каждым словом потому что «PHP не поддерживает Unicode». Она вызывает больше проблем, чем решает – скажите спасибо тому европейцу и невежам-программистам.

Мой документ – полная чушь в любой кодировке!

Если последовательность бит не выглядит разумной(с точки зрения человека), то это случай, когда документ скорее всего был неверно сконвертирован в определенный момент. К примеру мы берем текст ÉGÉìÉRÅ[ÉfÉBÉìÉOÇÕìÔǵÇ≠ǻǢ, и, не придумав ничего лучше, сохраняем его в UTF-8.

Текстовый редактор предположил, что он правильно прочитал текст с кодировкой Mac Roman и теперь его надо сохранить в другой кодировке. В конце концов, все эти символы валидны в Unicode. В смысле, в Unicode есть пункт для É, для G, и так далее. Так что мы просто сохраняем его в UTF-8:

11000011 10001001 01000111 11000011 10001001 11000011 10101100 11000011 10001001 01010010 11000011 10000101 01011011 11000011 10001001 01100110 11000011 10001001 01000010 11000011 10001001 11000011 10101100 11000011 10001001 01001111 11000011 10000111 11000011 10010101 11000011 10101100 11000011 10010100 11000011 10000111 11000010 10110101 11000011 10000111 11100010 10001001 10100000 11000011 10000111 11000010 10111011 11000011 10000111 11000010 10100010

Вот так теперь текст ÉGÉìÉRÅ[ÉfÉBÉìÉOÇÕìÔǵÇ≠ǻǢ представляется последовательностью бит UTF-8. Эта битовая последовательность совершенно оторвана от того, что было в изначальном документе. В какой бы кодировке мы не открывали эту последовательность, нам ни за что не видать исходный текст エンコーディングは難しくない.

Множество раз конкретная битовая последовательность оказывается неверной в конкретной кодировке. Если бы мы попытались открыть изначальный документ в ASCII, то увидели бы, что часть символов распозналась, а часть – нет. Программа, который вы пользуетесь, могла бы решить просто выбросить байты, которые не подходят под текущую кодировку, или заменить их на знаки вопроса.

Если вы неверно угадали кодировку, а потом сохранили ее еще в одну, то вы испортите документ. Можно пытаться исправить его, но эти попытки обычно успехом не оканчиваются. Магия с битовым сдвигом обычно остается неработающей магией: как мертвому припарки.

Прелести

Сложно сказать что конкретно, постоянное ли битьё по рукам от линтера и компилятора или активное использование range, или всё вместе, но практически отсутствуют залёты по выходу индекса за пределы.

Конечно, очень приятно жить со сборщиком мусора. Полагаю мне ещё предстоит освоить грабли автоматизации выделения/освобождения памяти, но пока дебильная улыбка не покидает лица.Строгая типизация — тоже кусочек счастья.

Переменные, имеющие тип функции — соответственно лёгкая реализация различного поведения у однотипных объектов.

Странно мало пришлось сидеть в отладчике, перечитывание кода обычно даёт результат.

Щенячий восторг от наличия массы инструментов из коробки, это чудное ощущение, когда компилятор, язык, библиотека и IDE Visual Studio Code работают на тебя вместе, слаженно.

Спасибо falconandy за конструктивные и полезные советыБлагодаря ему

1. перевёл тесты на testify и они действительно стали более читабельны
2. исправил в тестах пути к файлам данных для совместимости с Linux
3. прошёлся линтером — таки он нашёл одну реальную ошибку (проклятущий copy/past)

Продолжаю добавлять тесты, выявился случай не определения UTF16. Обновил. Теперь UTF16 и LE и BE определяются даже в случае отсутствия русских букв

Про кодировки и юникод

Проблемы

Лично походил по некоторым подводным камушкам из 50 оттенков Go: ловушки, подводные камни и распространённые ошибки новичков.Излишне переживая и пытаясь дуть на воду, прослышав от других о страшных ожогах от молока, переборщил с проверкой входного параметра типа io.Reader. Я проверял переменную типа io.Reader с помощью рефлексии.

//CodePageDetect - detect code page of ascii data from reader 'r'
func CodePageDetect(r io.Reader, stopStr ...string) (IDCodePage, error) {
    if !reflect.ValueOf(r).IsValid() {
        return ASCII, fmt.Errorf("input reader is nil")
    }
...

Но как оказалось в моём случае достаточно проверить на nil. Теперь всё стало проще

func CodePageDetect(r io.Reader, stopStr ...string) (IDCodePage, error) {
    //test input interfase
    if r == nil {
        return ASCII, nil
    }
    //make slice of byte from input reader
    buf, err := bufio.NewReader(r).Peek(ReadBufSize)
    if (err != nil) && (err != io.EOF) {
        return ASCII, err
    }
...

вызов bufio.NewReader( r ).Peek(ReadBufSize) спокойно проходит следующий тест:

    var data *os.File
    res, err := CodePageDetect(data)

В этом случае Peek() возвращает ошибку.

Разок наступил на грабли с передачей массивов по значению. Немного тупанул на попытке изменять элементы, хранящиеся в map, пробегая по ним в range…

Проблемы с кодировкой и unicode

В настоящее время используется несколько кодировок кириллицы позволяющих использовать восьмибитные коды от 0.. 255: KOI8-R, Windows 1251 и Unicode (UTF-8).

KOI8-R используется для серверов, работающих на базе платформы UNIX при пересылке сообщений на русском языке.

Компания Microsoft для работы с кириллицей в Интернете предложила свой стандарт Windows 1251.

Универсальный международный стандарт Unicode (UTF-8) был создан с целью объединить существующие национальные кодировки в одну.

Юнико́д (англ. Unicode) — стандарт кодирования, позволяющий представить символы практически всех письменных языков. Стандарт предложен в 1991 году организацией «Консорциум Юникода». Стандартом 2021 является версия Unicode 6.2.

В документах Unicode легко кодируются китайские иероглифы, буквы греческого алфавита, латиницы и кириллицы, математические и музыкальные символы. Юникод поддерживает письменности языков как с направлением написания слева направо, так и с справа налево например, арабское и еврейское письмо.

Первая версия Юникода представляла собой кодировку с фиксированным размером символа в 16 бит, то есть общее число кодов было 2¹⁶. Коды в стандарте Юникод были разделены на несколько областей. Область с кодами от U 0000 до U 007F содержит символы ASCII. Далее расположены области символов различных письменностей, знаки пунктуации и технические символы.

Юникод имеет несколько форм представления : UTF-8, UTF-16 и UTF-32.

UTF-8 — представление Юникода, обеспечивающее наилучшую совместимость со старыми системами, использовавшими 8-битные символы. Текст, состоящий только из символов с номером меньше 128, при записи в UTF-8 превращается в обычный текст ASCII. Остальные символы Юникода изображаются последовательностями длиной от 2 до 4 байт Формат UTF-8 был изобретён в 1992 году и закреплён в документах RFC 3629.

Роль кодировки UTF-8 в веб-секторе постоянно растёт, де-факто Юникод стал стандартом для передачи гипертекстовой информации.

Для совместимости со старыми 16-битными системами (например, Windows NT) была изобретена система UTF-16, где первые 65 536 позиций отображаются непосредственно как 16-битные числа, а остальные представляются в виде «суррогатных пар». Кодовое пространство для этого было разбито на 17 плоскостей по 2¹⁶ (65536) символов. Нулевая плоскость называется базовой, в ней расположены символы наиболее употребительных письменностей. Первая плоскость используется, в основном, для исторических письменностей, вторая — для редко используемых иероглифов, плоскости 15 и 16 выделены для частного употребления.

В UNIX-подобных операционных системах GNU/Linux, BSD и Mac OS X принята форма UTF-8 для файлов и UTF-32 или UTF-8 для обработки символов в оперативной памяти.

Внедрение Юникода привело к изменению подхода к традиционным 8-битным кодировкам. Если раньше кодировка задавалась шрифтом, то теперь она задаётся таблицей соответствия между данной кодировкой и Юникодом.

Большинство современных серверных программ обладают встроенной функцией автоматического определения кодировки, используемой клиентским программным обеспечением, и перевода текста в необходимый стандарт «на лету». При работе с почтой проблема с нетекстовыми файлами решается путем создания почтовых вложений. Длинный документ упаковывают архиватором, затем создают сообщение, к которому прикрепляют этот документ в качестве вложения. Для пересылки хорошо подходит формат PDF. Для просмотра служит бесплатная программа Acrobate Reader.

Задания по теме «Протоколы Интернет»

1. Что такое IP адрес? Статический и динамический IP-адреса.

2. Web- псевдонимы(du.ru, null.ru)

3. Видеохостинг Google YouTube.

4. Мобильная телефония. Протоколы мобильного Интернет.

5. Мобильная 3G-сеть.

6. Видеочат, мобильное телевидение, веб-камеры.

7. Безпроводные устройства для доступа в Интернет.

8. Форматы мультимедийных и графических файлов.

9. Назначение основных сетевых протоколов.

10. Стек протоколов TCP/IP.

11. Вид заголовка и данные в TCP-пакете.

12. Вид заголовка и данные в IP-пакете.

13. Протоколы POP3 и SMTP. Заголовок и данные. Команды почтовых протоколов.

14. Протокол IMAP. Структура пакета, команды.

15. Протокол FTP. Структура пакета, команды.

16. Серверы FTP.

17. Почтовые серверы.

18. Протоколы физического и канального уровней.

19. Протокол ISQ. Модули работы с протокола.

20. Протокол IRС.

21. Протокол HTTP.

22. Протокол HTTPS.

23. Язык разметки HTML5

24. Адресация в Интернет. DNS.

25. Служба ISQ и мобильная связь.

26. IP-телефония. Skype.

27. Айфоны (IPhone) и Смартфоны.

28. Веб серверы

29. Протокол Wi-Fi.

30. Виды кодировок кириллицы

31. Система клиент-сервер.

32. Устройство и принципы работы http-сервера

33. Отличия протоколов IPv4 от IPv6

34. Адресация в IPv6

Разгонимся мысленно до 340км/час…

Улитки на уроке физики

Глава 2. Проектирование и разработка сайтов

Создание сайта можно разделить на следующие этапы: проектирование и разработка дизайна главной и вторичных страниц, включая разработку клиентской части, cоздание скриптов, выполняемых на стороне сервера, cоздание баз данных, тестирование и продвижение.

Виды сайтов

Сайт — это набор из нескольких десятков, (сотен или тысяч) веб-страниц, связанных вместе единой темой, общим оформлением, взаимными гипертекстовыми ссылками и, близким размещением (обычно в пределах одного домена). Условно выделяют следующие виды сайтов:

1. Личные страницы (home pages) – до недавнего времени самая массовая категория веб-сайтов. На этих сайтах может быть все что угодно: информация о себе, о детях, о кошках, цветах, путешествиях. В настоящее время значительная часть такой информации перенесена в социальные сети и блоги.

2. Сайт визитка – Краткий и компактный сайт, содержащий общую информацию о компании её товарах и услугах, а также необходимые контактные данные. Сайт-визитка — небольшой сайт с максимально простой и удобной системой навигации. Сайт-визитка идеально подходит для небольших компаний, которые хотят разместить информацию о себе и своих услугах в интернете, и впервые столкнулись с задачей создания сайта. Сайт-визитка имеет короткие сроки разработки и невысокую стоимость. Если сайт-визитка больше не удовлетворяет потребностям расширяющегося бизнеса, можно изменить его структуру до корпоративного сайта, Интернет-магазина или веб-портала.

3. Некоммерческие (академические) сайты — это сайты, принадлежащие всевозможным добровольным объединениям, временным проектам, международным или благотворительным организациям. К этой категории можно отнести и страницы научных центров, официальные сайты некоммерческих программных проектов а также организаций. Каждая страница некоммерческого сайта знает, что она хочет сказать своим читателям, и знает, зачем им это нужно. Результатом является логичное и последовательное оформление, сознательное использование академического стиля.

4. Образовательные сайты. К этой же категории можно отнести многочисленные страницы учебных заведений и университетов. Такие сайты содержат большие объемы образовательной информации.

5. Информационные сайты–сайт, который содержит исчерпывающую информацию по некоторой предметной области. Аналогично новостной сайт содержит информацию о последних событиях.

6. Контент-сайты. Контент-сайты являются, основными поставщиками информации и генераторами траффика. К этой категории относятся новостные сайты и колонки обозревателей, развлекательные и образовательные ресурсы.

Для сайтов этого типа содержание превосходит по важности оформление, так что средний уровень их дизайна ниже, чем у сайтов компаний. Рассчитанные на многократные регулярные визиты, такие сайты стремятся свести оформительские элементы к минимуму, чтобы читатели не тратили время на перекачивание графики. Ничто не должно отвлекать их их от информации, содержания, контента.

7. Промо-сайт–этосайт, являющийся рекламой товара или услуги.

8. Интернет магазин–сайт, предназначен для продажи товаров или услуг через Интернет. Сайт содержит каталог продукции, прайс-листы, систему заказов. Интернет-магазин позволяет избежать множества дополнительных расходов на аренде помещений и складов. Продавец получает возможность взаимодействовать с пользователем в любое время суток, получая высокую рентабельность собственного бизнеса. Интернет-магазин — идеальное решение для малого бизнеса, работа которого может быть организована одним или несколькими сотрудниками. Магазин в Интернете максимально ориентирован на целевую аудиторию. Управление Интернет-магазином осуществляется с помощью удобной CMS-системы, что позволит оперативно менять содержимое каталога товаров несколькими щелчками мыши. Удобная система приёма, обработки заказов и удалённого взаимодействия с покупателями. Возможность отслеживания действий пользователя на сайте, контроля их деятельности и анализ эффективности работы магазина. Каталог товаров должен содержать подробное описание и фотосъёмки товаров.

Рефераты:  Реферат: Религия как социальное явление. Происхождение и сущность религии -

9. Портал–это очень большой веб-ресурс, который объединяет большое число различных Интернет-ресурсов в информационном пространстве компании, а также различные интерактивные службы.

10. Корпоративный сайт. Корпоративный сайт предоставляет клиентам полную информацию о компании: здесь размещаются сведения о предлагаемых товарах или услугах, описание политики компании, её истории, целей, особенностей, контактных сведений. Схемы работы корпоративного сайта следующая: Предоставление информации о компании на сайте > укрепление имиджа фирмы > увеличение продаж и прибыли. Большинство корпоративных сайтов содержит информацию не только о самой фирме, но и о ее продуктах.

11. Сайты самих дизайнерских компаний всегда интересны. Такой сайт обязан нравится потенциальным заказчикам и дизайнерам, отвечать жестким критериям, выработанным современной дизайн-культурой. Сайты веб-дизайнеров обычно немногословны – дизайн должен говорить сам за себя. На его первой странице часто не содержится вообще никакого текста, кроме названия фирмы и надписей на кнопках навигации (если же текст и есть, то чаще всего он нарочито загадочен, многозначителен, а не прямолинейно-рекламен. Вместо текста основное пространство страницы либо заполнено тщательно подготовленным, «ударным» визуалом или логотипом фирмы, либо просто оставлено пустым. Для дизайнерских сайтов всегда характерно активное использование пустоты, подчеркивающей их эстетский, антипрагматический стиль.

12. Рекламные сайты. В последнее время рекламный бизнес становится в Интернете все более прибыльным, и живущие за счет рекламы сайты растут и множатся.

13. Развлекательные сайты. Содержат музыку, видео, игры.

14. Сайты книг, фильмов, музыкальных альбомов и групп, спортивных команд не несут в себе почти ничего коммерческого. Если принадлежат они не самим издателям, киностудиям или музыкантам, а независимым поклонникам то, уступая чисто рекламным сайтам в уровне дизайна, нередко выигрывают в полноте и качестве информации.

---

Счастливые случайности

У меня был сайт подключенный к БД. Мое приложение обрабатывала все как UTF-8 и в БД хранила его так, и все было супер, но когда я зашел в админку БД, я ничего не мог понять.
— анонимный быдлокодер

Возникают ситуации, когда кодировки обрабатываются неверно, но все по прежнему работает нормально. Часто бывает, что кодировка базы данных выставлена в latin-1, а приложение работает с UTF-8(или любой другой). Вобщем-то, любая комбинация 1 и 0 допустима в однобайтной latin-1.

Если база данных получает от приложения данные вида 11100111 10111000 10100111, то оно с радостью сохраняет их, думая, что приложение имело ввиду 縧. Почему бы и нет? Позже бд возвращает те же самые биты приложению, которое счастливо, ведь получило символ UTF-8 縧, который и задумывался.

Но интерфейс администрирования бд знает, что используется latin-1, и вот результат: ничего не возможно понять. Глупец просто выиграл лотерею, хотя звезды были не на его стороне. Любая операция над текстом в бд может сработать, но может и выполниться не как задумано, так как бд неправильно воспринимает текст.

Языки с поддержкой кодировок

Так что же тогда для языка значит поддерживать Unicode? Javascript например поддерживает Unicode. На самом деле любая строка в Javascript кодирована в UTF-8. И это единственная кодировка, с которой работает Javascript. Вам просто не получить в Javascript строку не в UTF-8.

Javascript поклоняется Unicode в такой степени, что в ядре языка просто нет инструментов для работы с другой кодировкой. Раз уж Javascript чаще всего исполняется в браузере, у вас не возникает проблем: браузер способен исполнить тривиальную логику кодирования и декодирования ввода-вывода.

Прочие языки просто поддерживают кодировки. Внутренняя работа проводится в какой-то одной кодировке, часто в UTF-16. Но это значит, что им нужно подсказывать в какой кодировке текст, или они сами будут пытаться ее определить. Необходимо указывать в какой кодировке сохранен исходный код, в какой кодировке сохранен файл, который будет прочитан, в какой кодировке нужно осуществлять вывод.

Язык проведет конвертацию налету, если будет указано, что нужно использовать Unicode. Они делают все то, что в PHP нужно делать в полуавтоматическом режиме где-то на втором плане. Не лучше и не хуже, чем в PHP, просто по-другому. Хорошая новость в том, что строковые функции наконец просто работают, и вам не нужно думать, содержит ли строка многобайтные символы или не содержат, какие функции выбирать для работы и прочие вещи, которые нужно было бы делать в PHP.

Задача вторая. раскрашиваем вывод

Насмотревшись на отладочный вывод Джанги в связке с werkzeug, захотелось чего-то подобного для себя.

выдаёт несколько проектов разной степени проработки и удобности — от простейшего наследника

logging.StreamHandler

, до некоего набора, при импорте автоматически подменяющего стандартный StreamHandler.

Попробовав несколько из них, я, в итоге, воспользовался простейшим наследником StreamHandler, приведённом в одном из комментов на Stack Overflow и пока вполне доволен:

class ColoredHandler( logging.StreamHandler ):
    def emit( self, record ):
        # Need to make a actual copy of the record
        # to prevent altering the message for other loggers
        myrecord = copy.copy( record )
        levelno = myrecord.levelno
        if( levelno >= 50 ): # CRITICAL / FATAL
            color = 'x1b[31;1m' # red
        elif( levelno >= 40 ): # ERROR
            color = 'x1b[31m' # red
        elif( levelno >= 30 ): # WARNING
            color = 'x1b[33m' # yellow
        elif( levelno >= 20 ): # INFO
            color = 'x1b[32m' # green
        elif( levelno >= 10 ): # DEBUG
            color = 'x1b[35m' # pink
        else: # NOTSET and anything else
            color = 'x1b[0m' # normal
        myrecord.msg = (u"%s%s%s" % (color, myrecord.msg, 'x1b[0m')).encode('utf-8')  # normal
        logging.StreamHandler.emit( self, myrecord )

Однако, в Windows всё это работать, разумеется, отказалось. И если раньше можно было «включить» поддержку ansi-кодов в консоли добавлением «магического» ansi.dll из проекта symfony куда-то в недра системных папок винды, то, начиная (кажется) с Windows 7 данная возможность окончательно «выпилена» из системы. Да и заставлять юзера копировать какую-то dll в системную папку тоже как-то «не кошерно».

Снова обращаемся к гуглу и, снова, получаем несколько вариантов решения. Все варианты так или иначе сводятся к подмене вывода ANSI escape-последовательностей вызовом WinAPI для управления атрибутами консоли.

Побродив некоторое время по ссылкам, набрёл на проект colorama. Он как-то понравился мне больше остального. К плюсам именно этого проекта ст́оит отнести, что подменяется весь консольный вывод — можно выводить раскрашенный текст простым print u”x1b[31;40mЧто-то красное на чёрномx1b[0m” если вдруг захочется поизвращаться.

Сразу замечу, что текущая версия 0.1.18 содержит досадный баг, ломающий вывод unicode строк. Но простейшее решение я привёл там же при создании issue.

Собственно осталось объединить оба пожелания и начать пользоваться вместо традиционных «костылей»:

# -*- coding: utf-8 -*-
import sys
import codecs
import copy
import logging

#: Is ANSI printing available
ansi = not sys.platform.startswith("win")

def setup_console(sys_enc='utf-8', use_colorama=True):
    """
    Set sys.defaultencoding to `sys_enc` and update stdout/stderr writers to corresponding encoding

    .. note:: For Win32 the OEM console encoding will be used istead of `sys_enc`
    """
    global ansi
    reload(sys)
    try:
        if sys.platform.startswith("win"):
#... код, показанный выше
        if use_colorama and sys.platform.startswith("win"):
            try:
                # пробуем подключить colorama для винды и взводим флаг `ansi`, если всё получилось
                from colorama import init
                init()
                ansi = True
            except:
                pass

class ColoredHandler( logging.StreamHandler ):
    def emit( self, record ):
        # Need to make a actual copy of the record
        # to prevent altering the message for other loggers
        myrecord = copy.copy( record )
        levelno = myrecord.levelno
        if( levelno >= 50 ): # CRITICAL / FATAL
            color = 'x1b[31;1m' # red
        elif( levelno >= 40 ): # ERROR
            color = 'x1b[31m' # red
        elif( levelno >= 30 ): # WARNING
            color = 'x1b[33m' # yellow
        elif( levelno >= 20 ): # INFO
            color = 'x1b[32m' # green
        elif( levelno >= 10 ): # DEBUG
            color = 'x1b[35m' # pink
        else: # NOTSET and anything else
            color = 'x1b[0m' # normal
        myrecord.msg = (u"%s%s%s" % (color, myrecord.msg, 'x1b[0m')).encode('utf-8')  # normal
        logging.StreamHandler.emit( self, myrecord )

Дальше в своём проекте, в запускаемом файле пользуемся:

#!/usr/bin/env python
# -*- coding: utf-8 -*-
from setupcon import setup_console
setup_console('utf-8', False)
#...

# или если будем пользоваться раскрашиванием логов
import setupcon
setupcon.setup_console()
import logging
#...
if setupcon.ansi:
    logging.getLogger().addHandler(setupcon.ColoredHandler())

На этом всё. Из потенциальных доработок осталось проверить работоспособность под win64 python и, возможно, добаботать ColoredHandler чтобы проверял себя на isatty, как в более сложных примерах на том же StackOverflow.

Итоговый вариант получившегося модуля можно забрать на dumpz.org