Kinght who said PY!

вечная проблем GIL

2008-09-17T15:45:08Z

Мало кто знает почему-то, но есть вполне живая и неплохо работающая ветка Python, в которой GIL не существует [>>>]. GIL это общий лок интерпретатора, благодаря которому, или точнее говоря вопреки которому Python вмеру быстр в малтитредных приложениях.

Python-cjson: быстрая реализация json парсера

2007-03-20T15:12:20Z

Быстрая реализация json парсера на C++ с удобным и понятным синтаксисом.[>>>]
Код выглядит так:

import re
import cjson
import datetime
# Encoding Date objects:
def dateEncoder(d):
    assert isinstance(d, datetime.date)
    return 'new Date(Date.UTC(%d,%d,%d))'%(d.year, d.month, d.day)
json=cjson.encode([1,datetime.date(2007,1,2),2], extension=dateEncoder)
assert json=='[1, new Date(Date.UTC(2007,1,2)), 2]'
# Decoding Date objects:
re_date=re.compile('^new\sDate\(Date\.UTC\(.*?\)\)')
def dateDecoder(json,idx): json=json[idx:] m=re_date.match(json)
    if not m: raise 'cannot parse JSON string as Date object: %s'%json[idx:] args=cjson.decode('[%s]'% \
                     json[18:m.end()-2]) dt=datetime.date(*args)
    return (dt,m.end()) # must return (object, character_count) tuple

data=cjson.decode('[1, new Date(Date.UTC(2007,1,2)), 2]',
extension=dateDecoder)
assert data==[1,datetime.date(2007,1,2),2]

PyTables 2: мажорный апдейт

2007-03-17T01:17:46Z

PyTables это не RDBMS, это средство для работы с иерархически организованными данными большого обьема. Ни в коем случае не замена SQLным базам, предназначено это дело скорее для научных или технических данных. В версии 2 (пока бета): новые типы данных, новая система построения запросов, новая система быстрых индексов. В общем все новое [>>>]

chardet: детектор кодировки текста

2007-03-17T01:07:38Z

Собственно название говорит за себя, видимо это в продолжение предыдущего поста. Обратите внимание, только кодировки - не языка [>>>]

Python и кодировки

2007-03-17T01:03:45Z

Сначала ссылка - самое подробное рассмотрение проблем кодировок и юникода в питоне. Внятно, но по аглицки [>>>]
Теперь от себя - у меня есть код, который мигрирует из проекта в проект последние 2 года. Он позволяет забыть про проблемы кодировок на какое-то время. Выглядит он примерно так:

#!/usr/bin/env python2.5
# -*- coding: utf-8 -*-
# Конечно в нормальной жизни этих коментариев тут нет
# Загрузить кодеки и библиотеку локалей, установить дефолтную локаль согласно
# переменной окружения LC_ALL.
import locale, codecs; locale.setlocale(locale.LC_ALL, '')
# Теперь в encoding положим текущая кодировку локали.
encoding = locale.getlocale()[1]
# Если кодировка не определилась - это винды. Там полюбому UTF-8 :)
if not encoding:
    encoding = "utf-8"
# Установим дефолтную локаль. Финт с ушами reload() нужен потому что разработчики
# питона дюже умные и логично удаляют функцию setdefaultencoding при загрузке.
# Оно в общем то логично, но я же умный.
import sys;reload(sys);sys.setdefaultencoding(encoding)
# Установили кодеки для вывода в потоки согласно распорядку.
sys.stdout = codecs.getwriter(encoding)(sys.stdout, errors = "replace")
sys.stderr = codecs.getwriter(encoding)(sys.stderr, errors = "replace")

NamedTuple: новое в python2.6

2007-03-17T00:51:15Z

Смотрите какая красота появилась в python2.6a1 [>>>]
Используется примерно так:

from collections import NamedTuple
Point = NamedTuple(‘Point’, ‘x y’)
p = Point(10, 5)
print p.x # напечатает 10
print p.y # напечатает полюбому 5

netifaces: интерфейс к ifconfig

2007-03-17T00:34:57Z

Alastair представил наконец то свой интерфейс к внутренностям сетевого интерфейса. Пока что только на чтение, и только под OS X. На самом деле под FreeBSD тоже работает неплохо. [>>>]

grassyknoll: полнотекстовый поисковик по HTTP

2007-03-17T00:31:21Z

Я в панике от идеи, поэтому перевожу как есть: “Оно проиндексирует и найдет любой нафиг текст, который ты пошлешь через HTTP. Сетевое. Довольно умное. Довольно дружественное. Независящее от языка. Гладкое. Современное.” Много слов, да? На самом деле это такая странная идея - запихиваешь в него по HTTP данные, а он их индексирует и можно по ним искать. Зависит от PyLucene конечно же.

ActiveState Python 2.5

2007-03-17T00:23:47Z

Обновился ActiveState - долгожданный переезд на ветку 2.5. Для диких, это одна из сборок python под все платформы, главное конечно под Windows. Включает в себя в том числе и кучу библиотек для работы с Win32 API и, что не менее важно, пачку документации на родном английском языке. [>>>]

заждались?

2007-03-17T00:18:32Z

Заждались поди, оглоеды? Сейчас будет пачка обновлений - считайте что спам.

xmlobjects: еще одна парадигма для xml раппинга

2007-03-06T02:05:52Z

XMLOjbects для питона и xml это как ORM для баз данных [>>>]

По сути своей это оболочка вокруг ElementTree, красивая такая, обектная. Доступ к тегам и пропертям осуществляется через map.

"правильный" split

2007-03-05T12:40:20Z

А ведь я когда-то писал это сам, для себя. Сплит строки с учетом кавычек и комментариев - очень часто решаемая задача. Которая давно стандартизована в модуле shlex

>>> import shlex
>>> shlex.split("1 2 3 '4 5 6' 7 8 9 # comments", comments = True)
['1', '2', '3', '4 5 6', '7', '8', '9']

DjangoSnippets

2007-03-05T00:39:01Z

DjangoSnippets. Джанго Сниппетс. Еще раз - Джанго Снипетс. Полезные снипеты для всех кто пишет на джанге [>>>]. В закладки полюбому.

grailmud: MUD на Python

2007-03-05T00:36:35Z

GrailMud - новый, на этот раз совсем даже неплохо написанный [>>>] Эх. На 5 бы лет пораньше.

Несколько блоговых заметок

2007-03-05T00:31:09Z

Floris Bruynooghe пишет об использовании странного, но приятного метода написания маленьких программ. Он предлагает писать их не исполняемыми файлами, а наоборот - модулями. Подробнее [>>>]

Jeremy Hylton - пространно о нелогичности названия функции locals() [>>>]

В блоге Гвидо - подробности, слайды, видео с блекддеком и ага, о проекте Python 3.0, более известный как проект Python 3000 [

[Error: Irreparable invalid markup ('<a [...] >>></a>') in entry. Owner must fix manually. Raw contents below.]

Floris Bruynooghe пишет об использовании странного, но приятного метода написания маленьких программ. Он предлагает писать их не исполняемыми файлами, а наоборот - модулями. Подробнее [<a href='http://bruynooghe.blogspot.com/2007/02/writing-applications-as-modules.html'>>>></a>]

Jeremy Hylton - пространно о нелогичности названия функции locals() [<a href='http://jeremyhylton.blogspot.com/2007/02/locals-and-free-variables.html'>>>></a>]

В блоге Гвидо - подробности, слайды, видео с блекддеком и ага, о проекте Python 3.0, более известный как проект Python 3000 [<a href='http://www.artima.com/weblogs/viewpost.jsp?thread=196889'>>></a>]

James Tauber [<a href='http://jtauber.com/blog/2007/02/23/one_laptop_per_child%2C_python_(and_cleese)'>>>></a>] рассказывает об особенностях проекта OLPC. Вкратце - оказывается большая часть интерфейса, вплоть до тамошней абстракции файловой системы написана на Python.

Не много? Не утомил?

jython: уже 2.2

2007-03-05T00:08:56Z

Между тем Jython достиг реализации спецификации Python2.2 [>>>]. Пока что только бета, но we call it 'beta' cause it's much betta than nothing.

Собственно Jython это реализация языка Python для JVM. Идея кажется мне странной, но вот Microsoft поддерживает проект IronPython - реализацию питона для .NET.

pylint: 0.13

2007-03-05T00:00:21Z

Для тех, кому еще понятно слово lint и -Wall. Lint для python. Не сказать чтобы очень хороший, но неплохой. Рикамендед [>>>]

mlabwrap

2007-02-28T13:12:59Z

Одной строкой: раппер вокруг mathlab, он же - бридж для доступа к функциям матлаба из python.

Shed Skin: компилятор Python в C++

2007-02-28T13:11:02Z

Да, вам не показалось. Это оптимизирующий компилятор Python -> C++ -> Бинарный код. Результаты работают очень быстро, но за все приходится платить - ShedSkin понимает только очень небольшой сабсет языка Python. Изменения в версии 0.0.20:

улучшена работа со списками и словарями
поправлена работа операций целочисленного деления (/, //, divmod, floordiv), так чтобы они работали по схеме CPython2.5
преобразование float в str аналогичное CPython
масса исправлений в коде самого компилятора
починена наконец то работа с self в статических методах.

Таким образом как вы понимаете работы еще вагон и маленькая тележка, но уже сейчас это очень полезный инструмент. [>>>]

PyPy: это не то о чем вы подумали.

2007-02-28T12:59:11Z

Не смотря на идиотское с точки зрения русского человека название (впрочем zope это еще круче) PyPy это просто реализация языка Python на самом языке Python. Не спрашивайте зачем - лучше почитайте обзор изменений в версии 0.99.0 [>>>].

buzhug: база данных на коленке

2007-02-28T12:51:12Z

BuzHug: еще одно решение для хранения данных, на этот рас pure python style. Красивое и правильное решение задачи. [>>>]

Оно действительно работает быстро. На удивление быстро, всего в 6 раз медленнее mysql. Но это очень хороший показатель, ведь я пока не пробовал ничего оптимизировать, хотябы через Pyrex.

Пример:

from buzhug import Base
from datetime import date

# buzhug похож на sql, только для питонистов
# разные формы create table
teams = Base('teams')
teams.create(('name',str),('city',str))

players = Base('players').create(
        ('name',unicode),
        ('firstname',unicode),('team',teams),
        ('position',str),('born',date))

matches = Base('matches').create(
        ('home',teams),('away',teams),
        ('date',date),('goals_home',int),('goals_away',int))

# это insert into table
teams.insert(name="Спартак",city="Москва")
teams.insert(name="Динамо",city="Kiев")

# типовая опечатка - Зенит пишется через Е 
teams.insert("Зинит","СПБ")

# Мам, это select, представляешь?
zenit = [ r for r in teams if r.name == "Зинит" ][0]

# А это - апдейт!
teams.update(zenit,name="Зенит")

Ух, еще ссылки

2007-02-24T18:35:24Z

На Лёрнингпайтон очередной туториал, для тех кто хочет писать GUI на Python: PyLan - туду приложение на pygtk

Lython - компилятор lisp в питоновый байткод.

Обновился lxml теперь (1.2). Поддержка XInclude через ElementTree и куча багфиксов.

Elixir: SQLAlchemy declarative

2007-02-24T18:10:29Z

Jonathan LaCour и сотоварищи наконец то зарелизились. Великолепный раппер вокруг SQLAlchemy, этого совершенно неюзабельнго агрегата, для людей, которые ненавидят SQL. Называется Elixir [>>>]

Туториал и два интересных сообщения в блоге разработчика [1], [2]

Java2Python

2007-02-24T17:30:17Z

Ну вот. Началось. Java to Python - простой и эффективный способ трансляции кода из Java в Python. [>>>]

Помяните мое слово - скоро появятся человекоподобные роботы, которые пишут на Java и транслируют это дело в Python.

SOAP FTW

2007-02-24T17:18:30Z

Исторически сложилось так, что я не люблю XML RPC. Ну не знаю почему, просто нелюблю. SOAP не люблю тоже, но его просто много и с ним приходится считаться.

Обновилась неплохая реализация SOAP для Python, называется разумеется soaplib [>>>]

А вот и пример:

from soaplib.wsgi_soap import SimpleWSGISoapApp
from soaplib.service import soapmethod
from soaplib.serializers.primitive import String, Integer, Array

class HelloWorldService(SimpleWSGISoapApp):
    @soapmethod(String,Integer,_returns=Array(String))
    def say_hello(self,name,times):
        results = []
        for i in range(0,times):
            results.append('Hello, %s'%name)
        return results

def make_client():
    from soaplib.client import make_service_client
    client = make_service_client('http://localhost:7889/',HelloWorldService())
    return client
   
if __name__=='__main__':
    try:from cherrypy.wsgiserver import CherryPyWSGIServer
    except:from cherrypy._cpwsgiserver import CherryPyWSGIServer
    server = CherryPyWSGIServer(('localhost',7889),HelloWorldService())
    server.start()