BitVector (version 1.3, 2006-Dec-26)

BitVector.py
 
Version: 1.3
 
Author: Avinash Kak (kak@purdue.edu)
 
Date: 2006-Dec-26
 
 


Download Version 1.3
 
gztar
 
bztar

View version 1.3 code in browser




Switch to Version 1.3.1
           

Switch to Version 1.3.2

           

Switch to Version 1.4

           

Switch to Version 1.4.1



Switch to Version 1.5

           

Switch to Version 1.5.1


 
CHANGE LOG:
 
   Version 1.3:
 
       (a) One more constructor mode included: When initializing a
       new bit vector with an integer value, you can now also
       specify a size for the bit vector.  The constructor zero-pads
       the bit vector from the left with zeros. (b) The BitVector
       class now supports 'if x in y' syntax to test if the bit
       pattern 'x' is contained in the bit pattern 'y'. (c) Improved
       syntax to conform to well-established Python idioms. (d) What
       used to be a comment before the beginning of each method
       definition is now a docstring.
 
   Version 1.2:
 
       (a) One more constructor mode included: You can now construct
       a bit vector directly from a string of 1's and 0's.  (b) The
       class now constructs a shortest possible bit vector from an
       integer value.  So the bit vector for the integer value 0 is
       just one bit of value 0, and so on. (c) All the rich
       comparison operators are now overloaded. (d) The class now
       includes a new method 'intValue()' that returns the unsigned
       integer value of a bit vector.  This can also be done through
       '__int__'. (e) The package now includes a unittest based
       framework for testing out an installation.  This is in a
       separate directory called "TestBitVector".
   
   Version 1.1.1:
 
       The function that does block reads from a disk file now peeks
       ahead at the end of each block to see if there is anything
       remaining to be read in the file.  If nothing remains, the
       more_to_read attribute of the BitVector object is set to
       False.  This simplifies reading loops. This version also
       allows BitVectors of size 0 to be constructed
 
 
   Version 1.1:
 
       I have changed the API significantly to provide more ways for
       constructing a bit vector.  As a result, it is now necessary
       to supply a keyword argument to the constructor.
   
 
 
INTRODUCTION:
 
   The BitVector class for a memory-efficient packed representation
   of bit arrays and for logical operations on such arrays.  The
   core idea used in this Python script for bin packing is based on
   an internet posting by Josiah Carlson to the Pyrex mailing list.
 
   Operations supported on bit vectors:
 
          __getitem__
          __setitem__
          __len__
          __iter__
          __contains__
          __getslice__
          __str__
          __int__
          __add__
          __eq__, __ne__, __lt__, __le__, __gt__, __ge__
          |            for bitwise or
          &            for bitwise and              
          ^            for bitwise xor
          ~            for bitwise inversion
          <<           for circular rotation to the left
          >>           for circular rotation to the right
          +            for concatenation
          intValue()   for returning the integer value 
          divide_into_two
          permute
          unpermute
          pad_from_left
          pad_from_right
          read_bits_from_file
          write_to_file
          read_bits_from_fileobject
          write_bits_to_fileobject
 
 
 
 
CONSTRUCTING BIT VECTORS:
 
 
    You can construct a bit vector in seven different ways.
 
    (1) You can construct a bit vector directly from either a tuple
        or a list of bits, as in
 
           bv =  BitVector( bitlist = [1,0,1,0,0,1,0,1,0,0,1,0,1,0,0,1] )   
 
    (2) You can construct a bit vector from an integer by
 
           bv =  BitVector( intVal = 56789 )
 
        The bits stored now will correspond to the binary
        representation of the integer.  The resulting bit vector is
        the shortest possible bit vector for the integer value
        supplied.  For example, when intVal is 0, the bit vector
        constructed will consist of just the bit 0.
 
 
    (3) When initializing a bit vector with an intVal as shown
        above, you can also specify a size for the bit vector:
 
           bv = BitVector( intVal = 0, size = 8 )
 
        will return the bit vector consisting of the bit pattern
        00000000.  The zero padding needed for meeting the size
        requirement is always on the left.  If the size supplied is
        smaller than what it takes to create the shortest possible
        bit vector for intVal, an exception is thrown.
 
            
    (4) You can create a zero-initialized bit vector of a given size
        by
 
           bv  = BitVector( size = 62 )
 
        This bit vector will hold exactly 62 bits, all initialized to
        the 0 bit value.
 
    (5) You can construct a bit vector from a disk file by a two-step
        procedure. First you construct an instance of bit vector by
 
           bv  =  BitVector( filename = 'somefile' )   
 
        This bit vector itself is incapable of holding the bits.  To
        now create bit vectors that actually hold the bits, you need
        to make the following sort of a call on the above variable
        bv:
 
           bv1 =  bv.read_bits_from_file( 64 )    
 
        bv1 will be a regular bit vector containing 64 bits from the
        disk file. If you want to re-read a file from the beginning
        for some reason, you must obviously first close the file
        object that was acquired with a call to the BitVector
        constructor with a filename argument.  This can be
        accomplished by
 
          bv.close_file_object()
 
    (6) You can construct a bit vector from a string of 1's and 0's
        by
 
           bv  =  BitVector( bitstring = '110011110000' )      
 
    (7) Yet another way to construct a bit vector is to read the bits
        directly from a file-like object, as in
 
           x = "111100001111"
           fileobj = StringIO.StringIO( x )
           bv = BitVector( fp = fileobj )
 
 
 


OPERATIONS SUPPORTED BY THE BITVECTOR CLASS:

 
DISPLAYING BIT VECTORS:
 
 
    1)  Since the BitVector class implements the __str__ method, a
        bit vector can be displayed on a terminal by
 
              print bitvec
 
        Basically, you can always obtain the string representation
        of a bit vector by
 
              str( bitvec )
 
        and integer value by
 
              int( bitvec )
 
 
 
ACCESSING AND SETTING INDIVIDUAL BITS AND SLICES:
 
 
    2)  Any single bit of a bit vector bv can be set to 1 or 0 by
 
              bv[M] = 1_or_0
              print bv[M]
 
        for accessing (and setting) the bit at the position that is
        indexed M.  You can retrieve the bit at position M by bv[M].
 
    3)  A slice of a bit vector obtained by
 
              bv[i:j]
 
        is a bit vector constructed from the bits at index positions
        from i through j-1.
 
    4)  You can iterate over a bit vector, as illustrated by
 
              for bit in bitvec:
                  print bit,   
 
        This is made possible by the override definition for the
        special __iter__() method.
 
    5)  Negative subscripts for array-like indexing are supported.
        Therefore,
 
              bitvec[ -i ]
 
        is legal assuming that the index range is not violated.
 
 
 
LOGICAL OPERATIONS ON BIT VECTORS:
 
 
    6) Given two bit vectors bv1 and bv2, you can perform bitwise
       logical operations on them by
 
              result_bv  =  bv1 ^ bv2
              result_bv  =  bv1 & bv2
              result_bv  =  bv1 | bv2
              result_bv  =  ~bv1
 
 
 
COMPARING BIT VECTORS:
 
    7) Given two bit vectors bv1 and bv2, you can carry out the
       following comparisons that return Boolean values:
 
              bv1 ==  bv2
              bv1 !=  bv2
              bv1 <   bv2
              bv1 <=  bv2
              bv1 >   bv2
              bv1 >=  bv2
 
       The equalities and inequalities are determined by the integer
       values associated with the bit vectors.
 
 
 
 
OTHER SUPPORTED OPERATIONS:
 
 
    8)  You can permute and un-permute bit vectors:
 
              bv_permuted   =  bv.permute( permutation_list )
 
              bv_unpermuted =  bv.unpermute( permutation_list )
 
 
    9)  Left and right circular rotations can be carried out by
 
              bitvec  << N 
 
              bitvec  >> N
 
        for circular rotations to the left and right by N bit
        positions.
 
 
   10)  A bit vector containing an even number of bits can be
        divided into two equal parts by
 
              [left_half, right_half] = bitvec.divide_into_two()
 
         where left_half and right_half hold references to the two
         returned bit vectors.
 
 
   11)  You can find the integer value of a bit array by
 
              bitvec.invValue()
 
        or by
 
              int( bitvec )
 
 
   12)  You can convert a bit vector into its string representation
        by
 
              str( bitvec )
 
 
   13)  Because __add__ is supplied, you can always join two
        bit vectors by
 
              bitvec3  =  bitvec1  +  bitvec2
 
        bitvec3 is a new bit vector that contains all the
        bits of bitvec1 followed by all the bits of bitvec2.
 
         
   14)  You can write a bit vector directly to a file, as
        illustrated by the following example that reads one bit
        vector from a file and then writes it to another
        file
 
              bv = BitVector( filename = 'input.txt' )
              bv1 = bv.read_bits_from_file(64)        
              print bv1           
              FILEOUT = open( 'output.txt', 'w' )
              bv1.write_to_file( FILEOUT )
              FILEOUT.close()
 
         IMPORTANT:  The size of bit vector must be a multiple of
                     of 8 for this write function to work.  If this
                     condition is not met, the function throws an
                     exception.
 
   15)  You can also write a bit vector directly to a stream
        object, as illustrated by
 
              fp_write = StringIO.StringIO()
              bitvec.write_bits_to_fileobject( fp_write )
              print fp_write.getvalue()         # 111100001111 
         
 
   16)  You can pad a bit vector from the left or from the
        right with a designated number of zeros
 
              bitvec.pad_from_left( n )
 
              bitvec.pad_from_right( n )
 
        In the first case, the new bit vector will be the same
        as the old bit vector except for the additional n zeros
        on the left.  The same thing happens in the second
        case except that now the additional n zeros will be on
        the right.
 
   17)  You can test if a bit vector x is contained in another bit
        vector y by using the syntax 'if x in y'.  This is made
        possible by the override definition for the special
        __contains__() method.
 
 
 
HOW THE BIT VECTORS ARE STORED:
 
 
    The bits of a bit array are stored in 16-bit unsigned ints.
    After resolving the argument with which the constructor is
    called (which happens in lines (A2) through (A75) of the file
    BitVector.py), the very first thing that the constructor does is
    to figure out in line (A76) as to how many of those 2-byte ints
    it needs for the bits.  For example, if you wanted to store a
    64-bit array, the variable 'two_byte_ints_needed' in line (A76)
    would be set to 4. (This does not mean that the size of a bit
    vector must be a multiple of 16.  Any sized bit vectors can
    constructed using the required number of two-byte ints.) Line
    (A77) then creates an array of 2-byte ints and initializes it
    with the required number of zeros.  Lines (A78) then shifts the
    bits into the array of two-byte ints.
 
    As mentioned above, note that it is not necessary for the size
    of the vector to be a multiple of 16 even though we are using
    C's unsigned short as as a basic unit for storing the bit
    arrays.  The class BitVector keeps track of the actual number of
    bits in the bit vector through the "size" instance attribute.
 
    With regard to the code in lines (A2) through (A75) of the file
    BitVector.py, note that, except for one case, the constructor
    must be called with a single keyword argument, which determines
    how the bit vector will be constructed.  The single exception to
    this rule is for the keyword argument 'intVal' which can be used
    along with the 'size' keyword argument.  When 'intVal' is used
    with the 'size' option, the bit vector constructed for the
    integer is the shortest possible bit vector.  On the other hand,
    when 'size' is also specified, the bit vector is padded with
    zeroes from the left so that it has the specified size.
 
    Lines (A14) through (A20) are for the following sort of a call
 
           bv = BitVector( filename = 'myfilename' )
 
    This call returns a bit vector on which you must subsequently
    invoke the 'read_bits_from_file()' method to actually obtain a
    bit vector consisting of the bits that constitute the
    information stored in the file.
 
    Lines (A21) through (A26) are for the case when you want to
    construct a bit vector by reading the bits off a file-like
    object, as in
 
          x = "111100001111"
          fileobj = StringIO.StringIO( x )
          bv = BitVector( fp = fileobj )
 
    Lines (A27) through (A59) are for the case when you want to
    construct a bit vector from an integer, as in
 
          bv = BitVector( intVal = 123456 )
 
    The bits stored in the bit vector will correspond to the binary
    representation of the integer argument provided.  The bit vector
    constructed with the above call will be the shortest possible
    bit vector for the integer supplied.  As a case in point, when
    the intVal is 0, the bit vector will consist of a single bit
    which will be 0 also.  The code in lines (A27) through (A59) can
    also handle the following sort of a call
 
          bv = BitVector( intVal = 46, size = 16 )        
 
    which returns a bit vector of a specfic size by padding the
    shortest possible bit vector the the intVal with zeros from the
    left.
    
    Lines (A60) through (A64) are for constructing a bit vector with
    just the size information, as in
 
          bv = BitVector( size = 61 )
 
    This returns a bit vector that will hold exactly 61 bits, all
    initialized to the zero value.
 
    Lines (A65) through (A69) are for constructing a bit vector from
    a bitstring, as in
 
          bv = BitVector( bitstring = '00110011111' )
 
    Finally, lines (A70) through (A73) are for constructing a bit
    vector from a list or a tuple of the individual bits:
      
          bv = BitVector( bitlist = (1, 0, 1, 1, 0, 0, 1) )
 
    The bit vector constructed is initialized with the supplied
    bits.
 
 
 
ACKNOWLEDGEMENTS:
 
    The author is grateful to Oleg Broytmann for suggesting many
    improvements that were incorporated in Version 1.1 of this
    package.  The author would like to thank Kurt Schwehr whose
    email resulted in the creation of Version 1.2.  Kurt also caught
    an error in my earlier version of 'setup.py' and suggested a
    unittest based approach to the testing of the package.  Kurt
    also supplied the Makefile that is included in this
    distribution.  The author would also like to thank all (Scott
    Daniels, Blair Houghton, and Steven D'Aprano) for their
    responses to my comp.lang.python query concerning how to make a
    Python input stream peekable.  This feature was included in
    Version 1.1.1.
 
    With regard to the changes incorporated in Version 1.3, thanks
    are owed to Kurt Schwehr and Gabriel Ricardo for bringing to my
    attention the bug related to the intVal method of initializing a
    bit vector when the value of intVal exceeded sys.maxint. This
    problem is fixed in Version 1.3.  Version 1.3 also includes many
    other improvements that make the syntax better conform to the
    standard idioms of Python.  These changes and the addition of
    the new constructor mode (that allows a bit vector of a given
    size to be constructed from an integer value) are also owing to
    Kurt's suggestions.
 
 
 
ABOUT THE AUTHOR:
 

     Avi Kak is the author of "Programming with Objects: A Comparative 
     Presentation of Object-Oriented Programming with C++ and Java
",
     published by John-Wiley & Sons, New York, 2003. This book
     presents a new approach to the combined learning of two large
     object-oriented languages, C++ and Java. It is being used as
     a text in a number of educational programs around the world.
     This book has also been translated into Chinese. For further
     information, visit www.programming-with-objects.com.  
 
 
 
 
SOME EXAMPLE CODE:
 
    #!/usr/bin/env python
    import BitVector
 
    # Construct a bit vector from a list or tuple of bits:
    bv = BitVector.BitVector( bitlist = (1, 0, 0, 1) )
    print bv                                # 1001
 
    # Construct a bit vector from an integer:
    bv = BitVector.BitVector( intVal = 5678 )
    print bv                                # 0001011000101110
 
    # Construct a bit vector of a given size from a given
    # integer:
    bv = BitVector( intVal = 45, size = 16 )
    print bv                                # 0000000000101101
 
    # Construct a zero-initialized bit vector of a given size:
    bv = BitVector.BitVector( size = 5 )
    print bv                                # 00000
 
    # Construct a bit vector from a bit string:
    bv = BitVector.BitVector( bitstring = '110001' )     
    print bv[0], bv[1], bv[2], bv[3], bv[4], bv[5]       # 1 1 0 0 0 1
    print bv[-1], bv[-2], bv[-3], bv[-4], bv[-5], bv[-6] # 1 0 0 0 1 1
 
    # Construct a bit vector from a file like object:
    import StringIO
    x = "111100001111"
    fp_read = StringIO.StringIO( x )
    bv = BitVector.BitVector( fp = fp_read )
    print bv                                    # 111100001111 
 
    # Experiments with bit-wise logical operations:
    bv3 = bv1 | bv2                              
    bv3 = bv1 & bv2
    bv3 = bv1 ^ bv2
    bv6 = ~bv5
 
    # Find the length of a bit vector
    print len( bitvec )
 
    # Find the integer value of a bit vector
    print int( bitvec )
 
    # Open a file for reading bit vectors from
    bv = BitVector.BitVector( filename = 'TestBitVector/testinput1.txt' )
    print bv                                    # nothing yet
    bv1 = bv.read_bits_from_file(64)    
    print bv1                            # first 64 bits from the file
 
    # Divide a bit vector into two equal sub-vectors:
    [bv1, bv2] = bitvec.divide_into_two()
 
    # Permute and Un-Permute a bit vector:
    bv2 = bitvec.permute( permutation_list )
    bv2 = bitvec.unpermute( permutation_list )
 
    # Try circular shifts to the left and to the right
    bitvec << 7
    bitvec >> 7
 
    # Try 'if x in y' syntax for bit vectors:
    bv1 = BitVector( bitstring = '0011001100' )
    bv2 = BitVector( bitstring = '110011' )
    if bv2 in bv1:
        print "%s is in %s" % (bv2, bv1)
    else:
        print "%s is not in %s" % (bv2, bv1)
 
    .....
    .....
 
    (For a more complete working example, see the example code in
     the BitVectorDemo.py file in the Examples sub-directory.)

 
Modules
       
array
exceptions
operator
sys

 
Classes
       
BitVectorIterator
__builtin__.object
BitVector

 
class BitVector(__builtin__.object)
     Methods defined here:
__add__(self, other)
Concatenate the argument bit vector with the bit
vector on which the method is invoked.  Return the
concatenated bit vector as a new BitVector object.
__and__(self, other)
Take a bitwise 'and' of the bit vector on which the method is
invoked with the argument bit vector.  Return the result as a
new bit vector.  If the two bit vectors are not of the same
size, pad the shorter one with zero's from the left.
__contains__(self, otherBitVec)
This supports 'if x in y' and 'if x not in y'
syntax for bit vectors.
__eq__(self, other)
__ge__(self, other)
__getitem__ = _getbit(self, posn)
__getslice__(self, i, j)
Allow slicing with [i:j], [:], etc.
__gt__(self, other)
__init__(self, *args, **kwargs)
__int__ = intValue(self)
__invert__(self)
Invert the bits in the bit vector on which the
method is invoked and return the result as a new
bit vector.
__iter__(self)
To allow iterations over a bit vector by supporting the
'for bit in bit_vector' syntax:
__le__(self, other)
__len__ = _getsize(self)
__lshift__(self, n)
For an in-place left circular shift by n bit positions
__lt__(self, other)
__ne__(self, other)
__or__(self, other)
Take a bitwise 'or' of the bit vector on which the
method is invoked with the argument bit vector.  Return
the result as a new bit vector.  If the two bit vectors
are not of the same size, pad the shorter one with
zero's from the left.
__rshift__(self, n)
For an in-place right circular shift by n bit positions.
__setitem__ = _setbit(self, posn, val)
__str__(self)
To create a print representation
__xor__(self, other)
Take a bitwise 'xor' of the bit vector on which
the method is invoked with the argument bit vector.
Return the result as a new bit vector.  If the two
bit vectors are not of the same size, pad the shorter
one with zero's from the left.
circular_rot_left(self)
This is merely another implementation of the method
circular_rotate_left_by_one() shown above.  This one
does NOT use map functions.  This method carries out a
one-bit left circular shift of a bit vector.
circular_rot_right(self)
This is merely another implementation of the method
circular_rotate_right_by_one() shown above.  This one
does NOT use map functions.  This method does a one-bit
right circular shift of a bit vector.
circular_rotate_left_by_one(self)
For a one-bit in-place left circular shift
circular_rotate_right_by_one(self)
For a one-bit in-place right circular shift
close_file_object(self)
For closing a file object that was used for reading
the bits into one or more BitVector objects.
divide_into_two(self)
Divides an even-sized bit vector into two and returns
the two halves as a list of two bit vectors.
intValue(self)
Return the integer value of a bitvector
pad_from_left(self, n)
Pad a bit vector with n zeros from the left
pad_from_right(self, n)
Pad a bit vector with n zeros from the right
permute(self, permute_list)
Permute a bit vector according to the indices
shown in the second argument list.  Return the
permuted bit vector as a new bit vector.
read_bits_from_file(self, blocksize)
Read blocksize bits from a disk file and return a
BitVector object containing the bits.  If the file
contains fewer bits than blocksize, construct the
BitVector object from however many bits there are
in the file.  If the file contains zero bits, return
BitVector object of size attribute set to 0.
read_bits_from_fileobject(self, fp)
This function is meant to read a bit string from a 
file like object.
unpermute(self, permute_list)
Unpermute the bit vector according to the
permutation list supplied as the second argument.
If you first permute a bit vector by using permute()
and then unpermute() it using the same permutation
list, you will get back the original bit vector.
write_bits_to_fileobject(self, fp)
This function is meant to write a bit vector directly to
a file like object.  Note that whereas 'write_to_file'
method creates a memory footprint that corresponds exactly
to the bit vector, the 'write_bits_to_fileobject' actually
writes out the 1's and 0's as individual items to the
file object.  That makes this method convenient for
creating a string representation of a bit vector,
especially if you use the StringIO class, as shown in
the test code.
write_to_file(self, file_out)
(Contributed by Joe Davidson) Write the bitvector
to the file object file_out.  (A file object is
returned by a call to open()). Since all file I/O
is byte oriented, the bitvector must be multiple
of 8 bits. Each byte treated as MSB first (0th index).

Data descriptors defined here:
__dict__
dictionary for instance variables (if defined)
__weakref__
list of weak references to the object (if defined)

 
class BitVectorIterator
     Methods defined here:
__init__(self, bitvec)
__iter__(self)
next(self)

 
Data
        __author__ = 'Avinash Kak (kak@purdue.edu)'
__copyright__ = '(C) 2006 Avinash Kak. GNU GPL 2.'
__date__ = '2006-Dec-26'
__url__ = 'http://RVL4.ecn.purdue.edu/~kak/dist/BitVector-1.3.html'
__version__ = '1.3'

 
Author
        Avinash Kak (kak@purdue.edu)